Proxy za jedno preuzimanje u Scrapy shellu

Unutar Scrapy shella napravite zahtjev koji želite da preuzimač izvrši:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware čita vrijednost proxyja iz metapodataka tog Requesta. Mora biti omogućen u konfiguraciji aktivnog middlewarea za preuzimanje. Varijabla response nakon toga pripada ovom preuzimanju. Za ovaj javni URL odaberite HTTP adresu bez autentifikacije s liste HTTP proxyja ako su javni posrednici dozvoljeni, a zatim stavite njen URL u proxy metapodatke tog zahtjeva.

Pokretanje shella iz Scrapy projekta omogućava mu da učita konfiguraciju tog projekta. To bira middleware i druge postavke; samo po sebi ne bira određenu proxy krajnju tačku. Metapodaci zahtjeva iznad pružaju taj izbor direktno.

Za proxy koji koristi Basic akreditive, Scrapy dokumentuje korisničke podatke u URL-u proxyja. Kodirajte rezervisane znakove u dijelovima računa prije nego što ga napravite. Nije potrebno dodavati Authorization zaglavlje web stranice za taj račun.

Scrapy također može pronaći proxyje iz svojih podržanih varijabli okruženja. Eksplicitni proxy metapodaci zahtjeva imaju prednost. Za namjerno direktan zahtjev, vrijednost proxyja None onemogućava odabir tog middlewarea zasnovan na okruženju za zahtjev.