Zwei Einstellungen können Scrapys Proxy-Middleware deaktivieren
Prüfen Sie die zusammengeführte Downloader-Middleware-Liste und HTTPPROXY_ENABLED, bevor Sie eine weitere Kopie der integrierten Proxy-Middleware von Scrapy hinzufügen.
HttpProxyMiddleware gehört zu Scrapys integrierten Downloader-Standardwerten. Sie muss nicht im eigenen DOWNLOADER_MIDDLEWARES-Dictionary des Projekts stehen, um verfügbar zu sein.
Es gibt zwei getrennte Steuerungen zu prüfen:
- HTTPPROXY_ENABLED steuert, ob die integrierte Komponente aktiviert ist.
- Ein None-Wert für ihren Klassenpfad in DOWNLOADER_MIDDLEWARES entfernt sie aus der zusammengeführten Middleware-Kette.
Zum Beispiel deaktiviert dies den Standardeintrag ausdrücklich:
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}Entfernen Sie diese Überschreibung, wenn die integrierte Komponente zurückkehren soll. Kopieren Sie nicht einfach eine alte DOWNLOADER_MIDDLEWARES_BASE-Tabelle ins Projekt, nur um einen Eintrag wiederherzustellen; Scrapy kombiniert seine Standardwerte mit den Überschreibungen des Projekts.
Eine aktivierte Middleware braucht weiterhin eine Route – aus unterstützten Umgebungswerten oder aus den Proxy-Metadaten der Anfrage. Ihr Auftauchen in einem Startprotokoll ist für sich genommen keine Anfragenzuweisung.
Sehr alte Scrapy-Versionen unterschieden sich darin, wann die Komponente ohne Proxy-Umgebungswerte geladen wurde. Behalten Sie die installierte Version bei der Diagnose, statt eine historische Beobachtung aus der 1.3-Ära als aktuelle Aktivierungsregel zu behandeln.