طراحی ربات Crawler و Extractor سایتهای ایرانی (اسکیل پذیر)#python, #web_scraping نیاز به طراحی و ت…
انتشار: 2026/07/27 00:30 UTC
طراحی ربات Crawler و Extractor سایتهای ایرانی (اسکیل پذیر)#python, #web_scraping نیاز به طراحی و توسعه یک ماژول Crawler و Extractor برای استخراج داده از حدود ۲۰ سایت ایرانی وجود دارد. حدود ۷ سایت از این منابع احتمالاً نیازمند لاگین هستند و اطلاعات ورود، در صورت نیاز، توسط کارفرما ارائه خواهد شد.هدف پروژه صرفاً نوشتن چند اسکریپت جداگانه نیست؛ بلکه باید یک ربات ماژولار، تمیز و قابل توسعه طراحی شود تا تیم فنی کارفرما بتواند در آینده سایتهای مشابه دیگر را نیز با حداقل تغییر به آن اضافه کند. ساختار کد باید خوانا، مستند و قابل نگهداری باشد و افزودن منبع جدید از طریق تعریف پترن، Adapter، Parser یا ساختار مشابه انجام شود، نه با تغییر گسترده در هسته اصلی برنامه.ربات باید قابلیت اجرا بهصورت سرویس مستقل را داشته باشد و بتوان آن را از طریق API یا Web Service فراخوانی کرد. همچنین پروژه باید بهصورت Dockerize تحویل شود تا نصب، اجرا و انتقال آن ساده باشد.استفاده از ابزارهایی مانند Firecrawl، Scrapy، Playwright، Selenium یا سایر ابزارهای مناسب قابل قبول است؛ اما معیار اصلی ارزیابی، کیفیت معماری، پایداری استخراج، تمیزی کد، توسعهپذیری و قابلیت استفاده عملیاتی است.الزامات اصلی:پیادهسازی استخراج داده برای ۲۰ سایت اولیهپشتیبانی از سایتهای دارای لاگین، حدود ۷ سایتطراحی ساختار ماژولار برای افزودن سایتهای مشابه توسط تیم فنی کارفرماامکان اجرا بهعنوان سرویس خارجی از طریق APIتحویل نسخه Dockerizedمدیریت خطا، لاگ، Timeout و Retryخروجی ساختاریافته و قابل استفاده، ترجیحاً JSONمستندسازی نصب، اجرا، ساختار پروژه و روش افزودن سایت جدیدتحویل کد تمیز، خوانا و قابل توسعهتست توسعهپذیری:در پایان پروژه، برای سنجش کیفیت طراحی و توسعهپذیری، ۱۰ سایت مشابه دیگر توسط کارفرما برای تست معرفی میشود. انتظار میرود ربات و ساختار طراحیشده بتواند با کمترین تغییر و در زمان منطقی برای این سایتها نیز عملکرد مطلوب داشته باشد. این تست بخشی از معیار پذیرش پروژه خواهد بود.خروجیهای مورد انتظار:کد کامل پروژهپیادهسازی ۲۰ سایت اولیهAPI قابل استفادهفایلهای Docker و مستند راهاندازیمستند افزودن سایت جدیدنمونه خروجی برای منابع پیادهسازیشدهلاگ و گزارش خطاتوضیح مختصر معماری فنیمعیار پذیرش:پروژه زمانی قابل قبول است که ربات روی ۲۰ سایت اولیه عملکرد صحیح داشته باشد، خروجیها ساختاریافته و قابل استفاده باشند، سایتهای دارای لاگین بهدرستی مدیریت شوند، پروژه از طریق Docker قابل اجرا باشد، API قابل تست ارائه شود و تیم فنی کارفرما بتواند براساس مستندات، سایتهای مشابه جدید را اضافه کند.در صورت رضایت از کیفیت کار، امکان واگذاری توسعه سایتهای بعدی و ادامه همکاری وجود خواهد داشت. توسط خریدار: محمد صالح سامعیاطلاعات بیشتر:parscoders.com/project/612871/%D8%B7%D8%B…