Dve nastavenia môžu vypnúť proxy middleware Scrapy

Pred pridaním ďalšej kópie vstavaného proxy middleware Scrapy skontrolujte zlúčený zoznam downloader middleware a HTTPPROXY_ENABLED.

HttpProxyMiddleware patrí medzi vstavané predvolené hodnoty sťahovania Scrapy. Aby bol dostupný, nemusí sa objavovať vo vlastnom slovníku DOWNLOADER_MIDDLEWARES projektu.

Treba skontrolovať dve samostatné riadiace hodnoty:

  • HTTPPROXY_ENABLED riadi, či je vstavaný komponent povolený.
  • Hodnota None pre jeho cestu triedy v DOWNLOADER_MIDDLEWARES ho odstráni zo zlúčeného reťazca middleware.

Napríklad toto výslovne vypína predvolenú položku:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Odstráňte toto prepísanie, keď sa má vstavaný komponent vrátiť. Nekopírujte do projektu starú tabuľku DOWNLOADER_MIDDLEWARES_BASE len preto, aby ste obnovili jednu položku; Scrapy kombinuje svoje predvolené hodnoty s prepísaniami projektu.

Povolený middleware stále potrebuje trasu, a to z podporovaných hodnôt prostredia alebo z proxy metadát požiadavky. Jeho prítomnosť v štartovacom logu sama o sebe nie je priradením požiadavky.

Veľmi staré verzie Scrapy sa líšili v tom, kedy sa komponent načítal bez hodnôt proxy prostredia. Uchovajte nainštalovanú verziu pri diagnóze, namiesto toho, aby ste historické pozorovanie z éry 1.3 považovali za súčasné pravidlo povolenia.

Súvisiace články