Dos ajustes pueden desactivar el middleware de proxy de Scrapy

Revise la lista combinada de middleware de descarga y HTTPPROXY_ENABLED antes de añadir otra copia del middleware de proxy integrado de Scrapy.

HttpProxyMiddleware forma parte de los valores predeterminados integrados de descarga de Scrapy. No necesita aparecer en el diccionario DOWNLOADER_MIDDLEWARES del propio proyecto para estar disponible.

Hay dos controles separados que revisar:

  • HTTPPROXY_ENABLED controla si el componente integrado está habilitado.
  • Un valor None para su ruta de clase en DOWNLOADER_MIDDLEWARES lo elimina de la cadena de middleware combinada.

Por ejemplo, esto desactiva explícitamente la entrada predeterminada:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Quite esa anulación cuando el componente integrado deba volver. No copie una tabla DOWNLOADER_MIDDLEWARES_BASE antigua en el proyecto solo para restaurar una entrada; Scrapy combina sus valores predeterminados con las anulaciones del proyecto.

Un middleware habilitado aún necesita una ruta, a partir de valores de entorno compatibles o de los metadatos de proxy de la solicitud. Su presencia en un registro de inicio no es por sí misma una asignación de solicitud.

Las versiones muy antiguas de Scrapy diferían en cuándo se cargaba el componente sin valores de entorno de proxy. Conserve la versión instalada junto con el diagnóstico, en lugar de tratar una observación histórica de la era 1.3 como la regla de habilitación actual.

Artículos relacionados