Kargatu Scrapy proxy ezarpenak CrawlerProcess script batean
Eman get_project_settings() CrawlerProcess-i jaurtitzaile autonomoak scrapy crawl-ekin deskargatzeko middleware bera erabili behar duenean.
Armiarma batek scrapy crawl pean espero den proxya erabil dezake eta zuzenean joan Python script batek abiarazten duenean. Egiaztatu script horrek nola eraikitzen dituen bere ezarpenak proxy zerbitzaria aldatu aurretik.
Dagoen Scrapy proiektu bat eta bere armiarma erregistratua:
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()Ordezkatu catalog proiektuko armiarmaren izenarekin. Proiektua bere scrapy.cfg bidez aurkitu behar da, edo inportagarria den ezarpen modulu batera seinalatzen duen SCRAPY_SETTINGS_MODULE behar bezala ezarri baten bidez.
Bakarrik CrawlerProcess() eraikitzeak ez du proiektuak ezarpen fitxategia inportatzen scriptak armiarma klase bat ere inportatzen duelako soilik. Ondorioz, DOWNLOADER_MIDDLEWARES bidez gaitutako middleware pertsonalizatu bat falta daiteke exekuzio horretan.
Ezarpenak kargatzeak konfiguratutako osagaiak ematen ditu; ez du proxy helbiderik asmatzen. Scrapyren HTTP proxy middlewareak oraindik ingurune proxy ohikoa edo request.meta['proxy'] balio esplizitua behar du. Egiaztatu HTTPPROXY_ENABLED ez duela desgaitu. Baimendutako orrialde publikoen arakatze baterako, HTTP proxy zerrendak metadatu edo ingurune horren bidez emandako HTTP proxy baliorako hautagaiak eskaintzen ditu.
Konparatu jaurtitzailearen kargatutako ezarpenak eta middleware aktiboa komando-lerroko exekuzioarekin. Bat badatoz, jarraitu hautatutako eskaeraren proxy metadatuak eta benetako garraio errorearekin.