HttpProxyMiddleware należy do wbudowanych domyślnych ustawień pobierania Scrapy. Nie musi pojawiać się we własnym słowniku DOWNLOADER_MIDDLEWARES projektu, aby był dostępny.

Należy sprawdzić dwa osobne mechanizmy sterujące:

  • HTTPPROXY_ENABLED kontroluje, czy wbudowany komponent jest włączony.
  • Wartość None dla jego ścieżki klasy w DOWNLOADER_MIDDLEWARES usuwa go ze scalonego łańcucha middleware.

Na przykład to jawnie wyłącza domyślny wpis:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Usuń to nadpisanie, gdy wbudowany komponent ma wrócić. Nie kopiuj starej tabeli DOWNLOADER_MIDDLEWARES_BASE do projektu tylko po to, by przywrócić jeden wpis; Scrapy łączy swoje wartości domyślne z nadpisaniami projektu.

Włączony middleware nadal potrzebuje trasy — z obsługiwanych wartości środowiskowych lub z metadanych proxy żądania. Jego obecność w logu startowym sama w sobie nie jest przypisaniem żądania.

Bardzo stare wersje Scrapy różniły się tym, kiedy komponent był ładowany bez wartości środowiskowych proxy. Zachowaj zainstalowaną wersję wraz z diagnozą, zamiast traktować historyczną obserwację z ery 1.3 jako obowiązującą regułę włączania.

Powiązane artykuły