En proxy för en hämtning i Scrapy shell

I Scrapy shell bygger du begäran som du vill att nedladdaren ska utföra:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware läser proxyvärdet från den Requestens metadata. Det måste vara aktiverat i konfigurationen för den aktiva nedladdnings-middlewaren. Variabeln response efteråt tillhör denna hämtning. För denna offentliga URL väljer du en HTTP-adress utan autentisering från HTTP-proxylistan om offentliga mellanhänder är tillåtna, och placerar sedan dess URL i den begärans proxy-metadata.

Att starta skalet från Scrapy-projektet låter det läsa in projektets konfiguration. Det väljer middleware och andra inställningar; det väljer inte självt en viss proxy-slutpunkt. Begärans metadata ovan tillhandahåller det valet direkt.

För en proxy som använder Basic-uppgifter dokumenterar Scrapy användarinformation i proxy-URL:en. Koda reserverade tecken i kontodelarna innan den byggs. Det behövs ingen Authorization-rubrik för webbplatsen för det kontot.

Scrapy kan också upptäcka proxyservrar från sina stödda miljövariabler. En begärans explicita proxy-metadata har företräde. För en avsiktligt direkt begäran inaktiverar ett proxyvärde på None den middlewarens miljöbaserade val för begäran.