Posrednik za eno pridobitev v Scrapy shell

V Scrapy shell zgradite zahtevo, ki naj jo izvede prenašalnik:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware prebere vrednost posrednika iz metapodatkov tega Request. Mora biti omogočen v konfiguraciji aktivnega middleware prenašalnika. Spremenljivka response nato pripada tej pridobitvi. Za ta javni URL izberite neoverjeno naslov HTTP s seznama posrednikov HTTP, če so javni posredniki dovoljeni, nato pa vstavite njen URL v metapodatke posrednika te zahteve.

Zagon lupine iz projekta Scrapy mu omogoči nalaganje konfiguracije tega projekta. To izbere middleware in druge nastavitve; samo po sebi ne izbere določene končne točke posrednika. Zgornji metapodatki zahteve to izbiro zagotavljajo neposredno.

Za posrednika s poverilnicami Basic Scrapy dokumentira podatke o uporabniku v URL-ju posrednika. Preden ga zgradite, kodirajte rezervirane znake v delih računa. Za ta račun ni treba dodati glave Authorization spletnega mesta.

Scrapy lahko posrednike odkrije tudi iz podprtih okoljskih spremenljivk. Izrecni metapodatki posrednika zahteve imajo prednost. Za namerno neposredno zahtevo vrednost posrednika None onemogoči izbiro tega middleware na podlagi okolja za zahtevo.