Scrapy puhverserveri seadete laadimine CrawlerProcessi skripti
Anna get_project_settings() CrawlerProcessile, kui eraldiseisev käivitaja peab kasutama sama allalaadimise vahetarkvara nagu scrapy crawl.
Ämblik võib scrapy crawl all kasutada oodatud puhverserverit ja minna otse, kui selle käivitab Pythoni skript. Enne puhverserveri muutmist kontrolli, kuidas see skript oma seadeid koostab.
Olemasoleva Scrapy projekti ja selle registreeritud ämbliku jaoks:
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()Asenda catalog projekti ämbliku nimega. Projekt peab olema leitav oma scrapy.cfg kaudu või õigesti seatud SCRAPY_SETTINGS_MODULE kaudu, mis osutab imporditavale seadete moodulile.
Ainuüksi CrawlerProcess() loomine ei impordi projekti seadete faili vaid sellepärast, et skript impordib ka ämbliku klassi. Seetõttu võib DOWNLOADER_MIDDLEWARES kaudu lubatud kohandatud vahetarkvara selles käivituses puududa.
Seadete laadimine annab konfigureeritud komponendid; see ei leiuta puhverserveri aadressi. Scrapy HTTP-puhverserveri vahetarkvara vajab endiselt tavalist keskkonnapuhverserverit või selgesõnalist request.meta['proxy'] väärtust. Kontrolli, et HTTPPROXY_ENABLED poleks seda välja lülitanud. Lubatud avalike lehtede roomamiseks pakub HTTP-puhverserverite loend kandidaate HTTP-puhverserveri väärtusele, mis antakse nende metaandmete või keskkonna kaudu.
Võrdle käivitaja laaditud seadeid ja aktiivset vahetarkvara käsureakäivitusega. Kui need kattuvad, jätka valitud päringu puhverserveri metaandmete ja tegeliku transpordiveaga.