Duas configurações podem desativar o middleware de proxy do Scrapy

Verifique a lista combinada de middleware de download e HTTPPROXY_ENABLED antes de adicionar outra cópia do middleware de proxy integrado do Scrapy.

HttpProxyMiddleware faz parte dos padrões internos de download do Scrapy. Não precisa aparecer no dicionário DOWNLOADER_MIDDLEWARES do próprio projeto para estar disponível.

Há dois controles separados a examinar:

  • HTTPPROXY_ENABLED controla se o componente integrado está ativado.
  • Um valor None para o caminho da classe em DOWNLOADER_MIDDLEWARES o remove da cadeia de middleware combinada.

Por exemplo, isto desativa explicitamente a entrada padrão:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Remova essa substituição quando o componente integrado precisar voltar. Não copie uma tabela DOWNLOADER_MIDDLEWARES_BASE antiga para o projeto apenas para restaurar uma entrada; o Scrapy combina seus padrões com as substituições do projeto.

Um middleware ativado ainda precisa de uma rota, a partir de valores de ambiente suportados ou dos metadados de proxy da requisição. Sua presença em um log de inicialização não é, por si só, uma atribuição de requisição.

Versões muito antigas do Scrapy diferiam quanto a quando o componente era carregado sem valores de ambiente de proxy. Mantenha a versão instalada junto com o diagnóstico, em vez de tratar uma observação histórica da era 1.3 como a regra de ativação atual.

Artigos relacionados