dont_proxy wist het proxyveld van Scrapy niet

Een verzoek kan een eigen proxy-middleware overslaan en toch een actieve proxy-URL in zijn metadata dragen. De ingebouwde HttpProxyMiddleware van Scrapy leest meta["proxy"]; hij interpreteert geen generieke dont_proxy-vlag.

Voor een verzoek dat rechtstreeks moet gaan, stelt u expliciet in:

request.meta["proxy"] = None

De expliciete None verhindert dat de ingebouwde middleware voor dat verzoek een proxy uit zijn omgevingsinstellingen kiest. Alleen de sleutel verwijderen staat die automatische keuze weer toe.

Als een andere geïnstalleerde middleware dont_proxy gebruikt, houd die vlag dan ook aan voor het gedocumenteerde doel ervan. Rangschik de middleware-volgorde zodat een latere component niet opnieuw een proxy-URL toewijst. Inspecteer de metadata na de laatste component die een route kan kiezen.

Een 407 na het instellen van een eigen bypass-vlag past bij een resterende proxy-route, maar de status alleen maakt niet duidelijk welke middleware die koos. Volg het effectieve proxyveld door de verwerking van dat verzoek in plaats van aan te nemen dat elke component dezelfde opt-out-woordenschat deelt.