Dues configuracions poden desactivar el middleware de proxy de Scrapy

Reviseu la llista combinada de middleware de descàrrega i HTTPPROXY_ENABLED abans d'afegir una altra còpia del middleware de proxy integrat de Scrapy.

HttpProxyMiddleware forma part dels valors per defecte integrats de descàrrega de Scrapy. No cal que aparegui al diccionari DOWNLOADER_MIDDLEWARES del projecte per estar disponible.

Hi ha dos controls separats que cal revisar:

  • HTTPPROXY_ENABLED controla si el component integrat està habilitat.
  • Un valor None per al seu camí de classe a DOWNLOADER_MIDDLEWARES l'elimina de la cadena de middleware combinada.

Per exemple, això desactiva explícitament l'entrada per defecte:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Traieu aquesta anul·lació quan el component integrat hagi de tornar. No copieu una taula antiga DOWNLOADER_MIDDLEWARES_BASE al projecte només per restaurar una entrada; Scrapy combina els seus valors per defecte amb les anul·lacions del projecte.

Un middleware habilitat encara necessita una ruta, a partir de valors d'entorn compatibles o de les metadades de proxy de la sol·licitud. La seva presència en un registre d'inici no és per si mateixa una assignació de sol·licitud.

Les versions molt antigues de Scrapy diferien en quan es carregava el component sense valors d'entorn de proxy. Manteniu la versió instal·lada amb el diagnòstic, en lloc de tractar una observació històrica de l'època 1.3 com la regla d'habilitació actual.

Articles relacionats