Luchdaich suidhichidhean proxy Scrapy a-steach do sgriobt CrawlerProcess

Faodaidh damhan-allaidh an proxy a thathar an dùil a chleachdadh fo scrapy crawl agus falbh gu dìreach nuair a thòisicheas sgriobt Python e. Thoir sùil air mar a thogas an sgriobt sin na suidhichidhean aige mus atharraich thu am frithealaiche proxy.

Airson pròiseact Scrapy a th' ann mar-thà agus an damhan-allaidh clàraichte aige:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

Cuir ainm damhan-allaidh a' phròiseict an àite catalog. Feumaidh am pròiseact a bhith lorgail tro a scrapy.cfg, no tro SCRAPY_SETTINGS_MODULE a chaidh a shuidheachadh gu ceart a' comharrachadh modal suidhichidhean a ghabhas a thoirt a-steach.

Chan eil togail CrawlerProcess() leis fhèin a' toirt a-steach faidhle suidhichidhean a' phròiseict dìreach air sgàth 's gu bheil an sgriobt cuideachd a' toirt a-steach clas damhan-allaidh. Mar sin dh'fhaodadh middleware gnàthaichte a tha air a chomasachadh le DOWNLOADER_MIDDLEWARES a bhith air chall bhon ruith sin.

Bheir luchdadh nan suidhichidhean na co-phàirtean a chaidh an rèiteachadh; chan eil e a' cruthachadh seòladh proxy. Feumaidh middleware proxy HTTP Scrapy fhathast an proxy àrainneachd àbhaisteach aige no luach request.meta['proxy'] soilleir. Thoir sùil nach do chuir HTTPPROXY_ENABLED às dha. Airson craoladh ceadaichte air duilleagan poblach, tha an liosta proxy HTTP a' tabhann thagraichean airson luach proxy HTTP a thèid a thoirt seachad tron mheata-dàta no an àrainneachd sin.

Dèan coimeas eadar suidhichidhean luchdaichte agus middleware gnìomhach an lannsair leis an ruith air an loidhne-àithne. Ma tha iad co-ionann, lean air adhart le meata-dàta proxy na h-iarrtais a thagh thu agus leis a' mhearachd giùlain fhìor.