Proxy za jedno preuzimanje u Scrapy shellu

Unutar Scrapy shella napravite zahtev koji želite da preuzimač izvrši:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware čita vrednost proxyja iz metapodataka tog Requesta. Mora biti omogućen u konfiguraciji aktivnog middlewarea za preuzimanje. Varijabla response nakon toga pripada ovom preuzimanju. Za ovaj javni URL izaberite HTTP adresu bez autentifikacije sa liste HTTP proxyja ako su javni posrednici dozvoljeni, a zatim stavite njen URL u proxy metapodatke tog zahteva.

Pokretanje shella iz Scrapy projekta omogućava mu da učita konfiguraciju tog projekta. To bira middleware i druge postavke; samo po sebi ne bira određenu proxy krajnju tačku. Metapodaci zahteva iznad pružaju taj izbor direktno.

Za proxy koji koristi Basic akreditive, Scrapy dokumentuje korisničke podatke u URL-u proxyja. Kodirajte rezervisane znakove u delovima računa pre nego što ga napravite. Nije potrebno dodavati Authorization zaglavlje veb stranice za taj račun.

Scrapy takođe može pronaći proxyje iz svojih podržanih varijabli okruženja. Eksplicitni proxy metapodaci zahteva imaju prednost. Za namerno direktan zahtev, vrednost proxyja None onemogućava odabir tog middlewarea zasnovan na okruženju za zahtev.