Innles Scrapy proxy-stillingar í eitt CrawlerProcess skript

Ein køða kann brúka tað væntaða proxy undir scrapy crawl og fara beint, tá eitt Python skript setur hana í gongd. Kanna, hvussu tað skriptið byggir stillingarnar, áðrenn tú broytir proxyrænarinn.

Fyri eina verandi Scrapy-verkætlan og køðuna, sum er skrásett í henni:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

Set catalog í staðin fyri navnið á køðuni í verkætlanini. Verkætlanin má vera at finna gjøgnum sína scrapy.cfg ella gjøgnum eitt rætt sett SCRAPY_SETTINGS_MODULE, sum vísir á eitt innflytandi stillingarmodul.

At byggja bert CrawlerProcess() flytur ikki stillingarfílu verkætlanarinnar inn, bara tí at skriptið eisini flytur eina køðuklassu inn. Tí kann eitt serstakt millumlag, sum DOWNLOADER_MIDDLEWARES ger virkið, vera burtur úr tí koyrinum.

At innlesa stillingarnar veitir tær uppsettu partarnar; tað uppfinnur ikki eina proxy-adressu. HTTP-proxymillumlagið hjá Scrapy hevur framvegis tørv á sínum vanliga umhvørvisproxy ella einum greiðum request.meta['proxy']-virði. Kanna, at HTTPPROXY_ENABLED ikki hevur sløkt tað. Fyri eina loyvda kanning av almennum síðum bjóðar HTTP-proxylistin evnar til eitt HTTP-proxyvirði, sum verður latið gjøgnum hesi metadata ella umhvørvið.

Samanber innlisnu stillingarnar og virka millumlagið hjá startaranum við koyrina frá kommandorðslinjuni. Um tey passa, hald fram við proxymetadataunum hjá tí valdu fyrispurninginum og tí veruliga flutningsvilluni.