مقدمه

جمع‌آوری و تحلیل مقالات با n8n:

N8N ابزاری است که به کمک آن می توانید در مدت‌زمان کوتاهی، فرایندهای خود را با هوش مصنوعی خودکار کنید و از مزایای اتوماسیون هوشمند بهره‌ مند شوید.

N8N برای چه کسب و کارهایی مناسب است:

اگر سازمان شما کوچک می باشد و هم اکنون بسیاری از کار های خود را با نرم افزار هایی همچون اکسل انجام می دهید، N8N برای کسب و کار شما ایده آل است و در صورتی که کسب و کاری متوسط یا بزرگ دارید می توانید بخش های بسیاری از فرایند های غیر کلیدی خود را با این ابزار هوشمند کنید.

.

اگر به پیاده‌سازی اختصاصی، اتصال n8n به نرم‌افزارهای سازمانی یا سفارشی‌سازی Workflowها متناسب با کسب‌وکارتان نیاز دارید، Danix با بررسی نیازهای کسب‌وکار تان، می‌تواند این فرایند را از طراحی تا استقرار برای شما انجام دهیم.
برای کسب و کارهای کوچک به این لینک مراجعه کنید و برای کسب و کارهای بزرگ و متوسط میتوانید از این لینک استفاده نمایید.
همچنین اگر ترجیح می‌دهید شخصاً نصب و راه‌اندازی را انجام دهید، می‌توانید از اطلاعات موجود در مقالات، دسته N8N استفاده کنید .همچنین می توانید template موجود در این workflow را به صورت رایگان از این قسمت دانلود کنید.

جمع‌آوری و تحلیل مقالات با n8n:

آموزش جمع‌آوری و تحلیل مقالات Hugging Face با n8n و OpenAI و ذخیره در Notion

پیدا کردن و بررسی مقالات علمی جدید، به‌خصوص در حوزه‌هایی مانند هوش مصنوعی، یادگیری ماشین و پردازش زبان طبیعی، می‌تواند زمان زیادی از پژوهشگران و علاقه‌مندان این حوزه‌ها بگیرد. هر روز تعداد زیادی مقاله جدید منتشر می‌شود و بررسی دستی عنوان، چکیده، نتایج و روش‌های فنی هر مقاله، فرآیندی تکراری و زمان‌بر است. استفاده از اتوماسیون می‌تواند بخش زیادی از این فرآیند را بدون نیاز به بررسی دستی انجام دهد.

در این آموزش، یک Workflow برای جمع‌آوری و تحلیل مقالات با n8n بررسی می‌کنیم. این Workflow در روزهای کاری هفته به‌صورت خودکار اجرا می‌شود، مقالات منتشرشده در روز قبل را از بخش Papers وب‌سایت Hugging Face دریافت می‌کند و لینک مقالات را استخراج می‌کند. سپس با بررسی اطلاعات ذخیره‌شده در Notion، از ثبت دوباره مقالاتی که قبلاً پردازش شده‌اند جلوگیری می‌شود.

پس از دریافت مقاله جدید، Workflow صفحه مربوط به آن را دریافت کرده و عنوان و چکیده مقاله را استخراج می‌کند. در مرحله بعد، چکیده مقاله به OpenAI ارسال می‌شود تا اطلاعات مهم آن مانند مقدمه و دستاوردهای اصلی، کلمات کلیدی، نتایج، جزئیات فنی و دسته‌بندی علمی استخراج شود.

در نهایت، اطلاعات پردازش‌شده در یک Database در Notion ذخیره می‌شود. به این ترتیب، می‌توان یک آرشیو ساختاریافته از مقالات علمی ایجاد کرد و بدون بررسی دستی روزانه، مقالات جدید را در یک محل مشخص در اختیار داشت.

قبل از شروع

اگر هنوز n8n را نصب نکرده‌اید، پیشنهاد می‌کنیم ابتدا مقاله «آموزش n8n» را مطالعه کنید. در آن مقاله، مراحل نصب با Node.js و Docker، راه‌اندازی اولیه و ساخت اولین Workflow به‌صورت کامل آموزش داده شده است. پس از نصب و راه‌اندازی، به این مقاله بازگردید و مراحل پیاده‌سازی این Workflow را دنبال کنید.

این Workflow چه کاری انجام می‌دهد؟

این Workflow برای دریافت خودکار مقالات جدید از Hugging Face و تحلیل چکیده آن‌ها با استفاده از OpenAI طراحی شده است.

فرآیند کلی به این شکل است:

1. Workflow در ساعت مشخصی از روزهای کاری اجرا می‌شود.
2. صفحه مقالات Hugging Face مربوط به روز قبل دریافت می‌شود.
3. لینک مقالات از HTML صفحه استخراج می‌شود.
4. لینک‌های استخراج‌شده به آیتم‌های جداگانه تقسیم می‌شوند.
5. هر مقاله به‌صورت جداگانه پردازش می‌شود.
6. URL مقاله در Database مربوط به Notion جست‌وجو می‌شود.
7. اگر مقاله قبلاً ذخیره شده باشد، از پردازش مجدد آن جلوگیری می‌شود.
8. در صورت جدید بودن مقاله، صفحه کامل مقاله از Hugging Face دریافت می‌شود.
9. عنوان و چکیده مقاله از HTML استخراج می‌شود.
10. چکیده به OpenAI ارسال می‌شود.
11. OpenAI اطلاعات کلیدی مقاله را در قالب JSON ساختاریافته تولید می‌کند.
12. اطلاعات مقاله و تحلیل تولیدشده در Notion ذخیره می‌شوند.

در نتیجه، Workflow یک زنجیره کامل از دریافت داده، بررسی تکراری بودن، استخراج محتوا، تحلیل هوشمند و ذخیره‌سازی ایجاد می‌کند.

کاربردهای این Workflow

این Workflow فقط برای آرشیو کردن مقالات کاربرد ندارد و می‌توان از ساختار آن در پروژه‌های مختلف استفاده کرد.

1. پایش روزانه مقالات هوش مصنوعی

می‌توان Workflow را برای دریافت روزانه مقالات جدید اجرا کرد تا مقالات تازه منتشرشده بدون جست‌وجوی دستی جمع‌آوری شوند.

2. ساخت آرشیو مقالات علمی

اطلاعات مقالات در Notion ذخیره می‌شود و می‌توان یک آرشیو قابل جست‌وجو از مقالات ایجاد کرد.

3. خلاصه‌سازی خودکار مقالات

OpenAI اطلاعات مهم موجود در چکیده را استخراج می‌کند و نیازی نیست برای پیدا کردن نکات اصلی، هر چکیده به‌صورت دستی بررسی شود.

4. استخراج کلمات کلیدی پژوهش

Workflow برای هر مقاله چند Keyword تولید می‌کند. این اطلاعات می‌تواند برای دسته‌بندی و جست‌وجوی مقالات مورد استفاده قرار گیرد.

5. دسته‌بندی مقالات

مدل هوش مصنوعی برای هر مقاله یک یا چند دسته علمی تعیین می‌کند؛ بنابراین می‌توان مقالات را بر اساس موضوعاتی مانند هوش مصنوعی، NLP یا یادگیری تقویتی دسته‌بندی کرد.

6. ایجاد پایگاه دانش پژوهشی

ترکیب Notion و OpenAI امکان ایجاد یک پایگاه دانش از مقالات را فراهم می‌کند که اطلاعات فنی و نتایج مهم هر مقاله نیز در آن ثبت شده است.

7. توسعه سیستم‌های تحقیقاتی خودکار

می‌توان همین Workflow را توسعه داد تا بعد از تحلیل مقاله، اطلاعات آن به سرویس‌های دیگری مانند Slack، Telegram، Google Sheets یا یک Database نیز ارسال شود.

پیش‌نیازهای اجرای این Workflow

آماده‌سازی این موارد، اجرای صحیح فرآیند جمع‌آوری و تحلیل مقالات با n8n را امکان‌پذیر می‌کند و باعث می‌شود Workflow بدون خطا به سرویس‌های موردنیاز متصل شود.

• نصب و راه‌اندازی n8n
• دسترسی به Internet برای دریافت صفحات Hugging Face
• حساب Hugging Face برای دسترسی به مقالات موردنظر
• یک حساب Notion
• ایجاد یک Notion Database برای ذخیره مقالات
• ایجاد و اتصال Credential مربوط به Notion در n8n
• یک OpenAI API Key
• ایجاد Credential مربوط به OpenAI در n8n
• دسترسی به مدل مورد استفاده Workflow یعنی GPT-4o
• فعال بودن Schedule Trigger در n8n
• تعریف Propertyهای موردنیاز در Database مربوط به Notion

Database این Workflow باید فیلدهایی برای اطلاعاتی مانند URL، عنوان، چکیده، تاریخ دریافت، دسته‌بندی، جزئیات فنی، نتایج، کلمات کلیدی و معرفی اصلی مقاله داشته باشد.

دانلود Template

فایل JSON این Workflow را از این قسمت دانلود کنید.

رمز فایل: danixai.com

آموزش Import کردن Workflow

1. وارد داشبورد n8n شوید.
2. روی Import from File کلیک کنید.
3. فایل JSON را انتخاب کنید.
4. Workflow ایجاد خواهد شد.
5. Credentialهای موردنیاز را تنظیم کنید.

ساختار Workflow

برای درک بهتر فرآیند جمع‌آوری و تحلیل مقالات با n8n، ساختار Workflow به شکل زیر است:

Schedule Trigger
        │
        ▼
Request Hugging Face Paper
        │
        ▼
Extract Hugging Face Paper
        │
        ▼
Split Out
        │
        ▼
Loop Over Items
        │
        ▼
Check Paper URL Existed
        │
        ▼
      If
     /   \
    /     \
وجود دارد  مقاله جدید است
   │          │
   │          ▼
   │   Request Hugging Face
   │      Paper Detail
   │          │
   │          ▼
   │   Extract Paper Abstract
   │          │
   │          ▼
   │   OpenAI Analysis Abstract
   │          │
   │          ▼
   │   Store Abstract Notion
   │          │
   └──────────┘
        │
        ▼
   مقاله بعدی

این ساختار باعث می‌شود مقالات به‌صورت جداگانه پردازش شوند و قبل از تحلیل هر مقاله، وجود یا عدم وجود آن در Notion بررسی شود.

آموزش کامل Nodeهای Workflow

1. Schedule Trigger

وظیفه Node
این Node نقطه شروع Workflow است و اجرای آن را بر اساس یک برنامه زمانی مشخص انجام می‌دهد.

ورودی
این Node ورودی خاصی از Node دیگر دریافت نمی‌کند و اجرای Workflow را آغاز می‌کند.

خروجی
اجرای Workflow را به Node مربوط به دریافت اطلاعات Hugging Face منتقل می‌کند.

تنظیمات مهم
در Workflow فعلی، Schedule برای روزهای دوشنبه تا جمعه تنظیم شده و ساعت اجرای آن ۸ صبح است.

بنابراین Workflow در روزهای کاری هفته و در ساعت تعیین‌شده اجرا می‌شود.

نکات قابل تغییر
می‌توانید تعداد دفعات اجرا، روزهای هفته و ساعت اجرا را متناسب با نیاز خود تغییر دهید.

دلیل استفاده در Workflow
هدف این Node حذف نیاز به اجرای دستی Workflow است.

2. Request Hugging Face Paper

وظیفه Node
این Node با استفاده از HTTP Request صفحه Papers در Hugging Face را دریافت می‌کند.

ورودی
اطلاعاتی از Schedule Trigger دریافت می‌کند.

خروجی
HTML صفحه مقالات Hugging Face را در اختیار Node بعدی قرار می‌دهد.

تنظیمات مهم
آدرس صفحه Papers به‌عنوان URL استفاده شده و پارامتر date نیز به درخواست اضافه می‌شود. مقدار این پارامتر تاریخ روز قبل است.

به این ترتیب، Workflow به جای دریافت مقالات یک روز تصادفی، مقالات مربوط به روز گذشته را بررسی می‌کند.

نکات قابل تغییر
در صورت نیاز می‌توانید URL یا پارامترهای Query را تغییر دهید.

دلیل استفاده در Workflow
برای دریافت داده خام از Hugging Face به HTTP Request نیاز است.

3. Extract Hugging Face Paper

وظیفه Node
این Node اطلاعات HTML دریافت‌شده را بررسی می‌کند و URL مقالات را استخراج می‌کند.

ورودی
HTML خروجی Request Hugging Face Paper

خروجی
یک آرایه از URLهای مقالات

تنظیمات مهم
استخراج لینک‌ها بر اساس CSS Selector انجام می‌شود و مقدار href عناصر موردنظر استخراج می‌شود.

نکات قابل تغییر
اگر ساختار HTML سایت Hugging Face تغییر کند، CSS Selector نیز ممکن است نیاز به اصلاح داشته باشد.

دلیل استفاده در Workflow
داده دریافت‌شده از HTTP Request هنوز ساختار مناسبی برای پردازش مقاله‌ها ندارد؛ بنابراین ابتدا باید لینک مقالات از آن استخراج شود.

4. Split Out

وظیفه Node
آرایه URLهای استخراج‌شده را به آیتم‌های جداگانه تقسیم می‌کند.

ورودی
آرایه URL مقالات

خروجی
هر URL به یک Item مستقل تبدیل می‌شود.

تنظیمات مهم
فیلد URL برای Split شدن انتخاب شده است.

نکات قابل تغییر
اگر ساختار داده تغییر کند، باید نام فیلدی که شامل آرایه است نیز تغییر کند.

دلیل استفاده در Workflow
برای اینکه n8n بتواند هر مقاله را به‌صورت مستقل پردازش کند، لازم است URLهای موجود در آرایه به آیتم‌های جداگانه تبدیل شوند.

5. Loop Over Items

وظیفه Node
این Node مقالات را به‌صورت مرحله‌ای پردازش می‌کند.

ورودی
URLهای جداشده توسط Split Out

خروجی
هر مقاله را برای بررسی و پردازش به مسیر بعدی ارسال می‌کند و پس از پایان پردازش، سراغ Item بعدی می‌رود.

تنظیمات مهم
گزینه Reset در Workflow غیرفعال است.

نکات قابل تغییر
در Workflowهای بزرگ‌تر می‌توان از تنظیمات مربوط به Batch برای کنترل تعداد آیتم‌های پردازش‌شده استفاده کرد.

دلیل استفاده در Workflow
پردازش تک‌تک مقالات باعث می‌شود بررسی، دریافت و تحلیل هر مقاله مستقل انجام شود.

6. Check Paper URL Existed

وظیفه Node
این Node بررسی می‌کند که آیا URL مقاله موردنظر قبلاً در Notion ذخیره شده است یا خیر.

ورودی
URL مقاله از Loop Over Items

خروجی
نتیجه جست‌وجو در Database Notion

تنظیمات مهم
جست‌وجو روی Property مربوط به URL انجام می‌شود و مقدار URL مقاله با مقادیر موجود در Database مقایسه می‌شود.

نکات قابل تغییر
در صورت تغییر نام Property در Notion، باید فیلتر این Node نیز تغییر کند.

دلیل استفاده در Workflow
از ثبت دوباره یک مقاله در Database جلوگیری می‌کند.

این مرحله یکی از مهم‌ترین بخش‌های Workflow است؛ زیرا بدون آن، اجرای روزانه Workflow می‌تواند باعث ایجاد رکوردهای تکراری شود.

7. If

وظیفه Node
نتیجه بررسی Notion را ارزیابی می‌کند و مشخص می‌کند مقاله قبلاً وجود داشته یا جدید است.

ورودی
نتیجه Check Paper URL Existed

خروجی
Workflow را به یکی از دو مسیر هدایت می‌کند:

• اگر نتیجه خالی باشد، یعنی مقاله قبلاً در Database پیدا نشده و باید پردازش شود. در این حالت Workflow به Request Hugging Face Paper Detail می‌رود.
• اگر نتیجه خالی نباشد، مقاله قبلاً ذخیره شده است و Workflow آن را دوباره تحلیل نمی‌کند.

دلیل استفاده در Workflow
این Node منطق شرطی Workflow را کنترل می‌کند و جلوی پردازش تکراری را می‌گیرد.

8. Request Hugging Face Paper Detail

وظیفه Node
صفحه کامل مقاله جدید را از Hugging Face دریافت می‌کند.

ورودی
URL مقاله‌ای که در Notion پیدا نشده است.

خروجی
HTML صفحه مقاله

تنظیمات مهم
URL به‌صورت Dynamic Expression ساخته می‌شود و دامنه Hugging Face به مسیر مقاله اضافه می‌شود.

نکات قابل تغییر
اگر منبع مقالات تغییر کند، URL و نحوه ساخت آن باید اصلاح شود.

دلیل استفاده در Workflow
صفحه اولیه Papers فقط برای پیدا کردن لینک‌ها استفاده می‌شود. برای استخراج عنوان و چکیده، باید صفحه اختصاصی هر مقاله دریافت شود.

9. Extract Hugging Face Paper Abstract

وظیفه Node
عنوان و چکیده مقاله را از صفحه HTML استخراج می‌کند.

ورودی
HTML صفحه اختصاصی مقاله

خروجی
عنوان و Abstract مقاله

تنظیمات مهم
برای عنوان و چکیده از CSS Selector استفاده شده است.

نکات قابل تغییر
در صورت تغییر ساختار صفحه Hugging Face، Selectorها باید بررسی و در صورت نیاز اصلاح شوند.

دلیل استفاده در Workflow
OpenAI برای تحلیل نیاز به محتوای چکیده دارد؛ بنابراین ابتدا باید اطلاعات موردنظر از HTML استخراج شود.

10. OpenAI Analysis Abstract

وظیفه Node
این Node چکیده مقاله را با استفاده از OpenAI تحلیل می‌کند.

OpenAI یک سرویس هوش مصنوعی است که API آن امکان استفاده برنامه‌نویسی‌شده از مدل‌های زبانی را فراهم می‌کند. در این Workflow از مدل GPT-4o برای تحلیل محتوای علمی استفاده شده است.

ورودی
چکیده مقاله

خروجی
یک خروجی JSON شامل اطلاعات ساختاریافته مقاله

تنظیمات مهم
Prompt سیستم از مدل می‌خواهد موارد زیر را استخراج کند:

• معرفی و دستاوردهای اصلی مقاله
• 2 تا 5 کلمه کلیدی
• داده‌ها و نتایج مهم
• جزئیات فنی
• دسته‌بندی علمی مقاله

همچنین خروجی به‌صورت JSON تنظیم شده است تا بتوان اطلاعات تولیدشده را مستقیماً در Propertyهای مختلف Notion قرار داد.

نکات قابل تغییر
می‌توان Prompt را تغییر داد و اطلاعات بیشتری مانند نام نویسندگان، روش تحقیق، محدودیت‌های مقاله یا کاربردهای عملی آن را نیز استخراج کرد.

همچنین می‌توان مدل مورد استفاده را با مدل دیگری جایگزین کرد، البته باید ساختار خروجی مورد انتظار نیز با مدل جدید سازگار باشد.

دلیل استفاده در Workflow
استخراج دستی اطلاعات مهم از هر مقاله زمان‌بر است. OpenAI این بخش را به‌صورت خودکار انجام می‌دهد.

11. Store Abstract Notion

وظیفه Node
این Node مقاله و تحلیل تولیدشده توسط OpenAI را در Notion ذخیره می‌کند.

ورودی
اطلاعات مقاله و خروجی ساختاریافته OpenAI

خروجی
یک Page جدید در Database Notion

تنظیمات مهم
اطلاعات مختلف در Propertyهای جداگانه ذخیره می‌شوند، از جمله:

• URL
• عنوان
• Abstract
• تاریخ دریافت
• Classification
• Technical Details
• Data and Results
• Keywords
• Core Introduction

برای Abstract نیز محدودیتی در طول متن در نظر گرفته شده تا فقط بخشی از متن در Property ذخیره شود.

نکات قابل تغییر
می‌توان Propertyهای بیشتری به Database اضافه کرد و خروجی OpenAI را نیز برای پر کردن آن‌ها توسعه داد.

دلیل استفاده در Workflow
Notion نقش پایگاه ذخیره‌سازی و آرشیو مقالات را در این Workflow ایفا می‌کند.

نحوه شخصی‌سازی Workflow

ساختار جمع‌آوری و تحلیل مقالات با n8n به‌گونه‌ای طراحی شده که بتوان بخش‌های مختلف آن را متناسب با نیاز تغییر داد.

تغییر Prompt

Prompt موجود در OpenAI Analysis Abstract قابل ویرایش است. برای مثال می‌توانید از مدل بخواهید:

• محدودیت‌های مقاله را استخراج کند.
• کاربردهای عملی مقاله را بنویسد.
• روش پیشنهادی را با روش‌های قبلی مقایسه کند.
• سطح اهمیت مقاله را تعیین کند.
• خلاصه‌ای کوتاه برای مطالعه سریع تولید کند.

تغییر مدل AI

مدل GPT-4o در Node مربوط به OpenAI انتخاب شده است. در صورت دسترسی به مدل‌های دیگر می‌توان مدل را تغییر داد، اما باید بررسی کنید مدل جدید خروجی ساختاریافته موردنیاز Workflow را به‌درستی تولید کند.

تغییر زمان اجرا

در Schedule Trigger می‌توانید Workflow را به‌جای روزهای کاری، هر روز یا در بازه‌های زمانی مختلف اجرا کنید.

تغییر منبع مقالات

HTTP Requestها به Hugging Face متصل هستند. در صورت نیاز می‌توان ساختار Workflow را برای منابع دیگری که API یا HTML قابل پردازش دارند نیز استفاده کرد.

تغییر Database

می‌توانید Database دیگری در Notion ایجاد کنید، اما باید Propertyهای آن با اطلاعاتی که Node مربوط به Store Abstract Notion ارسال می‌کند هماهنگ باشند.

تغییر شرط بررسی مقالات

در Check Paper URL Existed، معیار تشخیص مقاله تکراری URL است. می‌توان این منطق را توسعه داد و معیارهای دیگری مانند شناسه مقاله، عنوان یا ترکیبی از چند فیلد را نیز در نظر گرفت.

مزایای استفاده از این Workflow

استفاده از این روش برای جمع‌آوری و تحلیل مقالات با n8n باعث می‌شود بخش زیادی از فرآیندهای تکراری حذف شود.

• کاهش کارهای تکراری: دریافت و پردازش مقالات به‌صورت خودکار انجام می‌شود.
• صرفه‌جویی در زمان: نیازی نیست هر روز به‌صورت دستی مقالات جدید را جست‌وجو کنید.
• جلوگیری از داده‌های تکراری: URL مقاله قبل از ذخیره‌سازی بررسی می‌شود.
• آرشیو ساختاریافته: اطلاعات مقالات در Propertyهای جداگانه Notion قرار می‌گیرند.
• دسترسی آسان به اطلاعات: می‌توان Database را در Notion جست‌وجو و دسته‌بندی کرد.
• قابل توسعه بودن: Workflow را می‌توان با سرویس‌ها و مراحل دیگری ترکیب کرد.
• اجرای زمان‌بندی‌شده: Workflow بدون اجرای دستی در زمان تعیین‌شده فعالیت می‌کند.
• تحلیل سریع‌تر محتوا: استفاده از هوش مصنوعی برای تحلیل خودکار مقالات علمی باعث می‌شود اطلاعات مهم هر مقاله بدون بررسی دستی چکیده استخراج شود.

نکات مهم

1. Credentialهای Notion را بررسی کنید: Database باید برای Integration مورد استفاده توسط n8n قابل دسترسی باشد.
2. نام Propertyهای Notion اهمیت دارد: تغییر نام فیلدها بدون اصلاح Node مربوط به ذخیره‌سازی می‌تواند باعث خطا شود.
3. ساختار HTML Hugging Face ممکن است تغییر کند: از آنجا که Workflow برای استخراج اطلاعات از CSS Selector استفاده می‌کند، تغییر ساختار صفحه می‌تواند استخراج اطلاعات را مختل کند.
4. API Key مربوط به OpenAI را در اختیار دیگران قرار ندهید: Credential را مستقیماً در n8n ذخیره کنید و آن را داخل Prompt قرار ندهید.
5. مصرف API را کنترل کنید: هر مقاله جدید برای تحلیل به OpenAI ارسال می‌شود و تعداد زیاد مقالات می‌تواند مصرف API را افزایش دهد.
6. خروجی JSON را بررسی کنید: Prompt به مدل دستور می‌دهد خروجی ساختاریافته تولید کند؛ بنابراین در صورت تغییر Prompt باید ساختار مورد انتظار Node ذخیره‌سازی نیز بررسی شود.
7. زمان اجرای Workflow را با منبع داده هماهنگ کنید: Workflow مقالات روز قبل را درخواست می‌کند، بنابراین تغییر زمان اجرا یا منطق تاریخ باید با دقت انجام شود.
8. URL معیار تشخیص تکراری بودن است: اگر URL یک مقاله تغییر کند، ممکن است Workflow آن را به‌عنوان یک مقاله جدید تشخیص دهد.
9. به محدودیت طول Propertyها توجه کنید: در Workflow برای Abstract فقط بخشی از متن ذخیره می‌شود. در صورت نیاز می‌توان روش ذخیره‌سازی را تغییر داد.
10. قبل از فعال‌سازی Workflow آن را تست کنید: بهتر است ابتدا Workflow را با تعداد محدودی مقاله اجرا کنید تا استخراج HTML، اتصال Notion و خروجی OpenAI بررسی شود.

خطاهای رایج (Troubleshooting)

در فرآیند جمع‌آوری و تحلیل مقالات با n8n ممکن است خطاهایی در دریافت صفحات، استخراج اطلاعات یا اتصال سرویس‌ها ایجاد شود که در ادامه مهم‌ترین آن‌ها را بررسی می‌کنیم.

1. مقاله‌ها از Hugging Face دریافت نمی‌شوند.

علت:

ممکن است اتصال اینترنت، URL، پارامتر تاریخ یا ساختار صفحه تغییر کرده باشد.

راه‌حل:

خروجی Node مربوط به HTTP Request را بررسی کنید و مطمئن شوید پاسخ معتبر دریافت شده است. همچنین URL و مقدار پارامتر date را بررسی کنید.

2. لینک مقالات استخراج نمی‌شود.

علت:

CSS Selector استفاده‌شده در Extract Hugging Face Paper ممکن است دیگر با ساختار HTML صفحه مطابقت نداشته باشد.

راه‌حل:

HTML خروجی Request را بررسی کرده و Selector مربوط به لینک مقاله را با ساختار جدید صفحه تطبیق دهید.

3. Workflow مقالات تکراری ایجاد می‌کند.

علت:

ممکن است URL موجود در Notion با URL تولیدشده توسط Workflow دقیقاً یکسان نباشد یا Property مربوط به URL به‌درستی تنظیم نشده باشد.

راه‌حل:

مقدار URL در Check Paper URL Existed و Store Abstract Notion را بررسی کنید و مطمئن شوید هر دو از یک قالب URL استفاده می‌کنند.

4. OpenAI خروجی مورد انتظار را تولید نمی‌کند.

علت:

ممکن است چکیده مقاله خالی یا ناقص باشد یا Prompt تغییر کرده باشد.

راه‌حل:

خروجی Extract Hugging Face Paper Abstract را بررسی کنید و مطمئن شوید مقدار Abstract وجود دارد. سپس Prompt و ساختار JSON مورد انتظار را بررسی کنید.

5. اطلاعات در Notion ذخیره نمی‌شود.

علت:

ممکن است Credential مربوط به Notion معتبر نباشد یا Database و Propertyهای موردنظر در دسترس Integration نباشند.

راه‌حل:

Credential Notion را بررسی کنید و مطمئن شوید Integration به Database موردنظر دسترسی دارد. سپس نام و نوع Propertyها را با تنظیمات Store Abstract Notion تطبیق دهید.

6. خطا در Propertyهای Notion ایجاد می‌شود.

علت:

نوع Property در Notion ممکن است با داده‌ای که Workflow ارسال می‌کند سازگار نباشد.

راه‌حل:

برای مثال، URL باید در Property از نوع URL، تاریخ در Property از نوع Date و اطلاعات متنی در Rich Text ذخیره شوند. نوع هر فیلد را با تنظیمات Node مطابقت دهید.

جمع‌بندی

در این آموزش یک Workflow برای جمع‌آوری و تحلیل مقالات با n8n بررسی کردیم که می‌تواند فرآیند پایش و آرشیو مقالات علمی را تا حد زیادی خودکار کند. Workflow ابتدا طبق یک برنامه زمانی مشخص اجرا می‌شود و مقالات مربوط به روز قبل را از Hugging Face دریافت می‌کند. سپس لینک مقالات استخراج و هر مقاله به‌صورت جداگانه پردازش می‌شود.

یکی از بخش‌های مهم Workflow، بررسی URL مقاله در Notion است. این مرحله از ایجاد رکوردهای تکراری جلوگیری می‌کند و باعث می‌شود فقط مقالات جدید وارد فرآیند تحلیل شوند. پس از آن، عنوان و چکیده مقاله استخراج شده و به OpenAI ارسال می‌شود.

OpenAI اطلاعات مهم مقاله مانند معرفی اصلی، کلمات کلیدی، نتایج، جزئیات فنی و دسته‌بندی علمی را استخراج می‌کند. در نهایت، این اطلاعات در Notion ذخیره می‌شوند و یک آرشیو منظم و قابل جست‌وجو از مقالات ایجاد می‌شود.

ساختار این Workflow قابلیت توسعه زیادی دارد و می‌توان در مراحل بعدی آن را به سرویس‌های دیگری متصل کرد یا Prompt و منطق پردازش را برای نیازهای پژوهشی مختلف تغییر داد.

سوالات متداول

1. آیا برای اجرای این Workflow به OpenAI API Key نیاز است؟

بله. Node مربوط به OpenAI برای تحلیل چکیده مقالات به Credential معتبر OpenAI نیاز دارد. هزینه استفاده نیز به میزان مصرف API و مدل انتخاب‌شده بستگی دارد.

2. آیا می‌توان مدل OpenAI را تغییر داد؟

بله. مدل در Node مربوط به OpenAI قابل تغییر است. با این حال، باید مطمئن شوید مدل انتخاب‌شده می‌تواند خروجی ساختاریافته موردنیاز Workflow را تولید کند.

3. آیا امکان ذخیره مقالات در سرویس دیگری به‌جای Notion وجود دارد؟

بله. Notion در این Workflow نقش پایگاه ذخیره‌سازی را دارد، اما می‌توان Node ذخیره‌سازی را با سرویس‌هایی مانند Google Sheets، PostgreSQL یا سایر Databaseها جایگزین یا تکمیل کرد.

4. آیا Workflow هر روز همه مقالات Hugging Face را دوباره پردازش می‌کند؟

خیر. Workflow ابتدا URL هر مقاله را در Database مربوط به Notion بررسی می‌کند. اگر مقاله قبلاً ذخیره شده باشد، وارد مسیر تحلیل نمی‌شود. این منطق از پردازش و ذخیره‌سازی دوباره مقالات جلوگیری می‌کند.

5. آیا می‌توان زمان اجرای Workflow را تغییر داد؟

بله. Schedule Trigger امکان تغییر روزها و ساعت اجرای Workflow را فراهم می‌کند. در Template فعلی Workflow در روزهای دوشنبه تا جمعه ساعت ۸ صبح اجرا می‌شود.

6. آیا می‌توان اطلاعات بیشتری از مقاله استخراج کرد؟

بله. می‌توانید Prompt مربوط به OpenAI را تغییر دهید و فیلدهای بیشتری مانند نویسندگان، محدودیت‌های تحقیق، کاربردهای عملی، روش پیشنهادی یا مقایسه با مطالعات قبلی را به خروجی اضافه کنید. سپس باید Property متناظر را نیز در Notion ایجاد کنید.

7. اگر ساختار HTML Hugging Face تغییر کند چه اتفاقی می‌افتد؟

از آنجا که Workflow از CSS Selector برای استخراج لینک، عنوان و چکیده استفاده می‌کند، تغییر ساختار HTML ممکن است باعث شود داده‌ها به‌درستی استخراج نشوند. در این شرایط باید Selectorهای Nodeهای HTML را بررسی و به‌روزرسانی کنید.

8. آیا می‌توان این Workflow را برای منابع علمی دیگر استفاده کرد؟

بله. ساختار اصلی Workflow به یک منبع خاص محدود نیست. می‌توان بخش دریافت و استخراج داده را برای یک وب‌سایت یا API دیگر بازطراحی کرد و مراحل بررسی تکراری بودن، تحلیل با OpenAI و ذخیره‌سازی در Notion را حفظ کرد.

GIT