dont_proxy não limpa o campo proxy do Scrapy

Uma requisição pode dispensar um middleware de proxy personalizado e ainda assim carregar uma URL de proxy ativa nos seus metadados. O HttpProxyMiddleware integrado do Scrapy lê meta["proxy"]; ele não interpreta um sinalizador dont_proxy genérico.

Para uma requisição que deve sair direta, defina explicitamente:

request.meta["proxy"] = None

O None explícito impede o middleware integrado de escolher um proxy das suas configurações de ambiente para essa requisição. Apenas excluir a chave volta a permitir essa seleção automática.

Se outro middleware instalado usar dont_proxy, mantenha esse sinalizador também para a sua finalidade documentada. Organize a sequência de middleware para que um componente posterior não atribua novamente uma URL de proxy. Inspecione os metadados após o último componente que possa selecionar uma rota.

Um 407 após definir um sinalizador de contorno personalizado é coerente com uma rota de proxy remanescente, mas o status sozinho não identifica qual middleware a selecionou. Acompanhe o campo proxy efetivo ao longo do processamento dessa requisição em vez de supor que todo componente compartilha o mesmo vocabulário de exclusão.