Scrapy-proxyynstellingen yn in CrawlerProcess-skript lade
Jou get_project_settings() oan CrawlerProcess as in selsstannige starter deselde downloader-middleware brûke moat as scrapy crawl.
In spin kin de ferwachte proxy ûnder scrapy crawl brûke en giet direkt as in Python-skript him startet. Kontrolearje hoe't dat skript syn ynstellingen bout foardat jo de proxyserver feroarje.
Foar in besteand Scrapy-projekt en syn registrearre spin:
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()Ferfange catalog troch de spinnamme fan it projekt. It projekt moat te finen wêze fia syn scrapy.cfg, of fia in goed ynstelde SCRAPY_SETTINGS_MODULE dy't nei in ymportearbere ynstellingsmodule wiist.
Allinnich CrawlerProcess() bouwe ymportearret it ynstellingsbestân fan it projekt net, inkeld om't it skript ek in spinklasse ymportearret. Dêrtroch kin in oanpaste middleware dy't troch DOWNLOADER_MIDDLEWARES ynskeakele is, yn dy run ûntbrekke.
It laden fan de ynstellingen leveret de konfigurearre komponinten; it betinkt gjin proxyadres. De HTTP-proxymiddleware fan Scrapy hat noch altyd syn gewoane omjouwingsproxy of in eksplisite request.meta['proxy']-wearde nedich. Kontrolearje dat HTTPPROXY_ENABLED it net útskeakele hat. Foar in tastiene crawl fan iepenbiere siden biedt de HTTP-proxylist kandidaten foar in HTTP-proxywearde dy't fia dy metadata of omjouwing levere wurdt.
Fergelykje de laden ynstellingen en aktive middleware fan 'e starter mei de opdrachtrigel-run. As se oerienkomme, gean troch mei de proxymetadata fan it keazen fersyk en de werklike transportflater.