Due impostazioni possono disattivare il middleware proxy di Scrapy
Controlla l'elenco unito dei middleware di download e HTTPPROXY_ENABLED prima di aggiungere un'altra copia del middleware proxy integrato di Scrapy.
HttpProxyMiddleware fa parte dei valori predefiniti integrati di download di Scrapy. Non deve comparire nel dizionario DOWNLOADER_MIDDLEWARES del progetto per essere disponibile.
Ci sono due controlli separati da esaminare:
- HTTPPROXY_ENABLED controlla se il componente integrato è abilitato.
- Un valore None per il suo percorso di classe in DOWNLOADER_MIDDLEWARES lo rimuove dalla catena di middleware unita.
Ad esempio, questo disattiva esplicitamente la voce predefinita:
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}
Rimuovi questa sovrascrittura quando il componente integrato deve tornare. Non copiare una vecchia tabella DOWNLOADER_MIDDLEWARES_BASE nel progetto solo per ripristinare una voce; Scrapy combina i suoi valori predefiniti con le sovrascritture del progetto.
Un middleware abilitato ha comunque bisogno di una rotta, da valori di ambiente supportati o dai metadati proxy della richiesta. La sua presenza in un log di avvio non è di per sé un'assegnazione di richiesta.
Le versioni molto vecchie di Scrapy differivano su quando il componente veniva caricato senza valori di ambiente proxy. Conserva la versione installata insieme alla diagnosi, invece di trattare un'osservazione storica dell'era 1.3 come la regola di abilitazione attuale.