Hlaða Scrapy proxy-stillingum inn í CrawlerProcess-skriftu

Könguló getur notað væntanlega proxy undir scrapy crawl og fer beint þegar Python-skrifta ræsir hana. Athugaðu hvernig skriftan byggir stillingarnar sínar áður en þú breytir proxynum.

Fyrir fyrirliggjandi Scrapy-verkefni og skráða könguló þess:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

Skiptu catalog út fyrir köngulónafnið í verkefninu. Verkefnið verður að vera finnanlegt í gegnum scrapy.cfg þess, eða í gegnum rétt stillta SCRAPY_SETTINGS_MODULE sem vísar á innflutningshæfa stillingaeiningu.

Að smíða CrawlerProcess() eitt og sér flytur ekki inn stillingaskrá verkefnisins bara vegna þess að skriftan flytur líka inn köngulóarflokk. Þess vegna getur sérsniðin miðvara sem DOWNLOADER_MIDDLEWARES virkjar verið fjarverandi í þeirri keyrslu.

Að hlaða stillingunum gefur uppstilltu einingarnar; það býr ekki til proxy-vistfang. HTTP-proxymiðvara Scrapy þarf enn venjulega umhverfisproxyið sitt eða skýrt request.meta['proxy'] gildi. Athugaðu að HTTPPROXY_ENABLED hafi ekki slökkt á henni. Fyrir leyfða skrið á opinberum síðum býður HTTP-proxylistinn upp á kandídaga fyrir HTTP-proxy gildi sem er látið í té í gegnum þessi lýsigögn eða umhverfið.

Berðu saman hlaðnar stillingar og virka miðvöru ræsisins við keyrslu á skipanalínu. Ef þær stemma, haltu áfram með proxy-lýsigögn valinnar beiðni og raunverulegu flutningsvilluna.