Proxy za jedno dohvaćanje u Scrapy shellu

Unutar Scrapy shella izradite zahtjev koji želite da preuzimač izvrši:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware čita vrijednost proxyja iz metapodataka tog Requesta. Mora biti omogućen u konfiguraciji aktivnog middlewarea za preuzimanje. Varijabla response nakon toga pripada ovom dohvaćanju. Za ovaj javni URL odaberite HTTP adresu bez autentifikacije s popisa HTTP proxyja ako su javni posrednici dopušteni, a zatim stavite njezin URL u proxy metapodatke tog zahtjeva.

Pokretanje shella iz Scrapy projekta omogućuje mu učitavanje konfiguracije tog projekta. To bira middleware i druge postavke; samo po sebi ne bira određenu proxy završnu točku. Metapodaci zahtjeva gore pružaju taj izbor izravno.

Za proxy koji koristi Basic vjerodajnice, Scrapy dokumentira korisničke podatke u URL-u proxyja. Kodirajte rezervirane znakove u dijelovima računa prije nego što ga izradite. Nije potrebno dodavati Authorization zaglavlje web stranice za taj račun.

Scrapy također može otkriti proxyje iz svojih podržanih varijabli okruženja. Eksplicitni proxy metapodaci zahtjeva imaju prednost. Za namjerno izravan zahtjev, vrijednost proxyja None onemogućuje odabir tog middlewarea temeljen na okruženju za zahtjev.