Dwa ustawienia mogą wyłączyć middleware proxy Scrapy
Sprawdź scaloną listę middleware'ów pobierania i HTTPPROXY_ENABLED, zanim dodasz kolejną kopię wbudowanego middleware proxy Scrapy.
HttpProxyMiddleware należy do wbudowanych domyślnych ustawień pobierania Scrapy. Nie musi pojawiać się we własnym słowniku DOWNLOADER_MIDDLEWARES projektu, aby był dostępny.
Należy sprawdzić dwa osobne mechanizmy sterujące:
- HTTPPROXY_ENABLED kontroluje, czy wbudowany komponent jest włączony.
- Wartość None dla jego ścieżki klasy w DOWNLOADER_MIDDLEWARES usuwa go ze scalonego łańcucha middleware.
Na przykład to jawnie wyłącza domyślny wpis:
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}
Usuń to nadpisanie, gdy wbudowany komponent ma wrócić. Nie kopiuj starej tabeli DOWNLOADER_MIDDLEWARES_BASE do projektu tylko po to, by przywrócić jeden wpis; Scrapy łączy swoje wartości domyślne z nadpisaniami projektu.
Włączony middleware nadal potrzebuje trasy — z obsługiwanych wartości środowiskowych lub z metadanych proxy żądania. Jego obecność w logu startowym sama w sobie nie jest przypisaniem żądania.
Bardzo stare wersje Scrapy różniły się tym, kiedy komponent był ładowany bez wartości środowiskowych proxy. Zachowaj zainstalowaną wersję wraz z diagnozą, zamiast traktować historyczną obserwację z ery 1.3 jako obowiązującą regułę włączania.