dont_proxy no borra el campo proxy de Scrapy

Una solicitud puede omitir un middleware de proxy personalizado y aun así llevar una URL de proxy activa en sus metadatos. El HttpProxyMiddleware integrado de Scrapy lee meta["proxy"]; no interpreta un indicador dont_proxy genérico.

Para una solicitud que debe salir directa, establezca explícitamente:

request.meta["proxy"] = None

El None explícito impide que el middleware integrado seleccione un proxy de su configuración de entorno para esa solicitud. Borrar la clave sin más vuelve a permitir esa selección automática.

Si otro middleware instalado usa dont_proxy, conserve ese indicador también para su propósito documentado. Ordene la secuencia de middleware de modo que un componente posterior no vuelva a asignar una URL de proxy. Inspeccione los metadatos después del último componente que pueda seleccionar una ruta.

Un 407 tras establecer un indicador de omisión propio es coherente con una ruta de proxy remanente, pero el estado por sí solo no identifica qué middleware la seleccionó. Siga el campo proxy efectivo a lo largo del procesamiento de esa solicitud en lugar de suponer que todos los componentes comparten el mismo vocabulario de exclusión.