د Scrapy پروکسي تنظیمات په CrawlerProcess سکریپټ کې بار کړئ

سپایډر کولی شي د scrapy crawl لاندې تمه شوی پروکسي وکاروي او کله چې د Python سکریپټ لخوا پیل شي مستقیم ځي. د پروکسي سرور بدلولو دمخه وګورئ چې هغه سکریپټ خپلې تنظیمات څنګه جوړوي.

د موجود Scrapy پروژې او د هغې د ثبت شوي سپایډر لپاره:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

catalog د پروژې د سپایډر نوم سره بدل کړئ. پروژه باید د خپل scrapy.cfg له لارې، یا د واردولو وړ تنظیمات ماډل ته اشاره کوونکي سم تنظیم شوي SCRAPY_SETTINGS_MODULE له لارې وموندل شي.

یوازې CrawlerProcess() جوړول د پروژې د تنظیماتو فایل نه واردوي، یوازې ځکه چې سکریپټ د سپایډر ټولګه هم واردوي. له همدې امله د DOWNLOADER_MIDDLEWARES لخوا فعال شوی ځانګړی مینځګړی ممکن په هغه چلند کې نه وي.

د تنظیماتو بارول ترتیب شوي برخې برابروي؛ دا د پروکسي پته نه جوړوي. د Scrapy HTTP پروکسي مینځګړی اوس هم خپل عادي چاپیریال پروکسي یا روښانه request.meta['proxy'] ارزښت ته اړتیا لري. وګورئ چې HTTPPROXY_ENABLED دا غیر فعال نه کړی. د اجازه ورکړل شوي عامه پاڼو کرال لپاره د HTTP پروکسي لیست د هغه میټاډیټا یا چاپیریال له لارې ورکړل شوي HTTP پروکسي ارزښت لپاره نوماندان وړاندې کوي.

د پیلوونکي بار شوي تنظیمات او فعال مینځګړی د کمانډ کرښې چلند سره پرتله کړئ. که سره سمون ولري، د ټاکل شوې غوښتنې د پروکسي میټاډیټا او ریښتیني ترانسپورت تېروتنې سره دوام ورکړئ.