Dvě nastavení mohou vypnout proxy middleware Scrapy

Před přidáním další kopie vestavěného proxy middleware Scrapy zkontrolujte sloučený seznam downloader middleware a HTTPPROXY_ENABLED.

HttpProxyMiddleware patří mezi vestavěné výchozí hodnoty stahování Scrapy. Aby byl dostupný, nemusí se objevovat ve vlastním slovníku DOWNLOADER_MIDDLEWARES projektu.

Je třeba zkontrolovat dvě samostatné řídicí hodnoty:

  • HTTPPROXY_ENABLED řídí, zda je vestavěná komponenta povolena.
  • Hodnota None pro její cestu třídy v DOWNLOADER_MIDDLEWARES ji odstraní ze sloučeného řetězce middleware.

Například toto výslovně vypíná výchozí záznam:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Toto přepsání odstraňte, když se má vestavěná komponenta vrátit. Ne kopírujte do projektu starou tabulku DOWNLOADER_MIDDLEWARES_BASE jen kvůli obnovení jednoho záznamu; Scrapy kombinuje své výchozí hodnoty s přepsáními projektu.

Povolený middleware stále potřebuje trasu, a to z podporovaných hodnot prostředí nebo z proxy metadat požadavku. Jeho přítomnost ve startovacím logu sama o sobě není přiřazením požadavku.

Velmi staré verze Scrapy se lišily v tom, kdy se komponenta načetla bez hodnot proxy prostředí. Uchovejte nainstalovanou verzi u diagnózy, místo abyste historické pozorování z éry 1.3 považovali za současné pravidlo povolení.

Související články