Tgħabbi s-settings tal-proxy ta' Scrapy fi skript CrawlerProcess
Għaddi get_project_settings() lil CrawlerProcess meta lanzatur awtonomu għandu juża l-istess middleware tat-tniżżil bħal scrapy crawl.
Brimba tista' tuża l-proxy mistenni taħt scrapy crawl u tmur direttament meta tniediha skript Python. Iċċekkja kif dak is-skript jibni s-settings tiegħu qabel ma tbiddel is-server tal-proxy.
Għal proġett Scrapy eżistenti u l-brimba rreġistrata tiegħu:
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()Ibdel catalog bl-isem tal-brimba tal-proġett. Il-proġett għandu jkun jinstab permezz tal-scrapy.cfg tiegħu, jew permezz ta' SCRAPY_SETTINGS_MODULE imqiegħed sew li jindika lejn modulu tas-settings li jista' jiġi importat.
Il-bini ta' CrawlerProcess() biss ma jimportax il-fajl tas-settings tal-proġett biss għax is-skript jimporta wkoll klassi tal-brimba. Għalhekk middleware personalizzat imqabbad minn DOWNLOADER_MIDDLEWARES jista' jkun nieqes minn dik it-tħaddima.
It-tgħabbi tas-settings jipprovdi l-komponenti kkonfigurati; ma joħloqx indirizz tal-proxy. Il-middleware tal-proxy HTTP ta' Scrapy xorta għandu bżonn il-proxy normali tal-ambjent tiegħu jew valur request.meta['proxy'] espliċitu. Iċċekkja li HTTPPROXY_ENABLED ma pprojbixxihx. Għal crawler permess ta' paġni pubbliċi, il-lista tal-proxy HTTP toffri kandidati għal valur tal-proxy HTTP forniti permezz ta' dawk il-metadata jew l-ambjent.
Qabbel is-settings mgħobbija u l-middleware attiv tal-lanzatur mat-tħaddima mil-linja tal-kmand. Jekk jaqblu, kompli bil-metadata tal-proxy tat-talba magħżula u bl-iżball tat-trasport attwali.