Dous axustes poden desactivar o middleware de proxy de Scrapy

Revise a lista combinada de middleware de descarga e HTTPPROXY_ENABLED antes de engadir outra copia do middleware de proxy integrado de Scrapy.

HttpProxyMiddleware forma parte dos valores predeterminados integrados de descarga de Scrapy. Non precisa aparecer no dicionario DOWNLOADER_MIDDLEWARES do propio proxecto para estar dispoñible.

Hai dous controis separados que revisar:

  • HTTPPROXY_ENABLED controla se o compoñente integrado está habilitado.
  • Un valor None para a súa ruta de clase en DOWNLOADER_MIDDLEWARES elimínao da cadea de middleware combinada.

Por exemplo, isto desactiva explicitamente a entrada predeterminada:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Quite esa anulación cando o compoñente integrado deba volver. Non copie unha táboa DOWNLOADER_MIDDLEWARES_BASE antiga no proxecto só para restaurar unha entrada; Scrapy combina os seus valores predeterminados coas anulacións do proxecto.

Un middleware habilitado aínda necesita unha ruta, a partir de valores de contorno compatibles ou dos metadatos de proxy da solicitude. A súa presenza nun rexistro de inicio non é por si mesma unha asignación de solicitude.

As versións moi antigas de Scrapy diferían en cando se cargaba o compoñente sen valores de contorno de proxy. Conserve a versión instalada xunto co diagnóstico, en lugar de tratar unha observación histórica da era 1.3 como a regra de habilitación actual.

Artigos relacionados