dont_proxy non cancella il campo proxy di Scrapy

Una richiesta può escludere un middleware proxy personalizzato e comunque portare un URL proxy attivo nei suoi metadati. L'HttpProxyMiddleware integrato di Scrapy legge meta["proxy"]; non interpreta un indicatore dont_proxy generico.

Per una richiesta che deve uscire diretta, impostare esplicitamente:

request.meta["proxy"] = None

Il None esplicito impedisce al middleware integrato di scegliere un proxy dalle sue impostazioni d'ambiente per quella richiesta. Cancellare semplicemente la chiave riabilita quella selezione automatica.

Se un altro middleware installato usa dont_proxy, conservare quel flag anche per il suo scopo documentato. Disporre la sequenza dei middleware in modo che un componente successivo non assegni di nuovo un URL proxy. Ispezionare i metadati dopo l'ultimo componente che può scegliere una rotta.

Un 407 dopo aver impostato un indicatore di bypass personalizzato è coerente con una rotta proxy residua, ma lo stato da solo non indica quale middleware l'ha scelta. Seguire il campo proxy effettivo durante l'elaborazione di quella richiesta invece di supporre che ogni componente condivida lo stesso vocabolario di esclusione.