تحميل إعدادات وكيل Scrapy في سكربت CrawlerProcess

يمكن للعنكبوت أن يستخدم الوكيل المتوقع تحت scrapy crawl وأن يذهب مباشرةً عندما يُشغَّل بواسطة سكربت Python. تحقّق من كيفية بناء ذلك السكربت لإعداداته قبل تغيير خادم الوكيل.

لمشروع Scrapy قائم وعنكبوبه المسجَّل:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

استبدل catalog باسم العنكبوت في المشروع. يجب أن يكون المشروع قابلاً للاكتشاف عبر scrapy.cfg، أو عبر SCRAPY_SETTINGS_MODULE مضبوط بشكل صحيح يشير إلى وحدة إعدادات قابلة للاستيراد.

إنشاء CrawlerProcess() وحده لا يستورد ملف إعدادات المشروع لمجرد أن السكربت يستورد أيضاً صنف عنكبوت. لذلك قد يغيب وسيط مخصص مُفعَّل بواسطة DOWNLOADER_MIDDLEWARES من تلك الجولة.

تحميل الإعدادات يوفّر المكوّنات المضبوطة؛ لكنه لا يخترع عنوان وكيل. لا يزال وسيط وكيل HTTP في Scrapy بحاجة إلى وكيل البيئة المعتاد أو قيمة request.meta['proxy'] صريحة. تحقّق من أن HTTPPROXY_ENABLED لم يعطّله. لزحف مسموح به لصفحات عامة، يقدّم قائمة وكلاء HTTP مرشّحين لقيمة وكيل HTTP تُمرَّر عبر تلك البيانات الوصفية أو البيئة.

قارن إعدادات المشغّل المحمّلة والوسيط النشط بتشغيل سطر الأوامر. إذا تطابقت، تابع مع بيانات وكيل الطلب المحدد وخطأ النقل الفعلي.