Deux réglages peuvent désactiver le middleware proxy de Scrapy

HttpProxyMiddleware fait partie des valeurs par défaut intégrées de téléchargement de Scrapy. Il n'a pas besoin de figurer dans le dictionnaire DOWNLOADER_MIDDLEWARES du projet pour être disponible.

Deux contrôles distincts sont à examiner :

• HTTPPROXY_ENABLED contrôle si le composant intégré est activé.
• Une valeur None pour son chemin de classe dans DOWNLOADER_MIDDLEWARES le retire de la chaîne de middlewares fusionnée.

Par exemple, ceci désactive explicitement l'entrée par défaut :

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

Supprimez cette surcharge lorsque le composant intégré doit revenir. Ne copiez pas une ancienne table DOWNLOADER_MIDDLEWARES_BASE dans le projet uniquement pour restaurer une entrée ; Scrapy combine ses valeurs par défaut avec les surcharges du projet.

Un middleware activé a toujours besoin d'une route, à partir de valeurs d'environnement prises en charge ou des métadonnées proxy de la requête. Sa présence dans un journal de démarrage n'est pas en soi une affectation de requête.

Les versions très anciennes de Scrapy différaient sur le moment où le composant était chargé sans valeurs d'environnement proxy. Conservez la version installée avec le diagnostic, plutôt que de traiter une observation historique de l'époque 1.3 comme la règle d'activation actuelle.