Scrapy прокси тохиргоог CrawlerProcess скриптэд ачаалах
Бие даасан эхлүүлэгч scrapy crawl-тай ижил татагч middleware ашиглах ёстой үед get_project_settings()-ийг CrawlerProcess-д дамжуулна.
Аалз scrapy crawl-ийн дор хүлээгдэж буй проксийг ашиглаж болох бөгөөд Python скриптээр эхлүүлэхэд шууд явдаг. Прокси серверийг солихоос өмнө тэр скрипт тохиргоогоо хэрхэн бүрдүүлдэг болохыг шалгана уу.
Одоо байгаа Scrapy төсөл болон түүний бүртгэгдсэн аалзны хувьд:
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()catalog-г төслийн аалзны нэрээр солино уу. Төсөл нь өөрийн scrapy.cfg-ээр эсвэл импортлох боломжтой тохиргооны модуль руу заасан зөв тохируулсан SCRAPY_SETTINGS_MODULE-ээр олдох ёстой.
Зөвхөн CrawlerProcess() үүсгэх нь скрипт аалзны классыг ч импортолдог гэсэн шалтгаанаар төслийн тохиргооны файлыг импортолдоггүй. Иймээс DOWNLOADER_MIDDLEWARES-оор идэвхжүүлсэн тохируулсан middleware тэр ажиллагаанаас байхгүй байж болно.
Тохиргоог ачаалах нь тохируулсан бүрэлдэхүүн хэсгүүдийг өгдөг; энэ нь прокси хаяг зохиодоггүй. Scrapy-гийн HTTP прокси middleware-д одоо ч ердийн орчны прокси эсвэл тодорхой request.meta['proxy'] утга хэрэгтэй. HTTPPROXY_ENABLED үүнийг идэвхгүй болгоогүй эсэхийг шалгана уу. Зөвшөөрөгдсөн нийтийн хуудсыг шалгахад HTTP прокси жагсаалт тэдгээр мета өгөгдөл эсвэл орчноор дамжуулан өгөх HTTP прокси утгын нэр дэвшигчдийг санал болгодог.
Эхлүүлэгчийн ачаалсан тохиргоо болон идэвхтэй middleware-ийг командын мөрний ажиллагаатай харьцуулна уу. Хэрэв таарч байвал сонгосон хүсэлтийн прокси мета өгөгдөл болон бодит тээврийн алдаатай үргэлжлүүлнэ үү.