Proxy pre jedno načítanie v Scrapy shell

Použite metadata proxy objektu Request v Scrapy shell a prezrite si odpoveď tohto nakonfigurovaného žiadania.

V Scrapy shell zostavte žiadosť, ktorú má sťahovač vykonať:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware číta hodnotu proxy z metadát tohto Requestu. Musí byť povolený v konfigurácii aktívneho middlewaru sťahovača. Premenná response potom patrí tomuto načítaniu. Pre túto verejnú URL vyberte adresu HTTP bez overenia zo zoznamu HTTP proxy, ak sú verejní sprostredkovatelia povolení, a potom vložte jej URL do metadát proxy tejto žiadosti.

Spustenie shellu z projektu Scrapy mu umožní načítať konfiguráciu tohto projektu. To vyberá middleware a ďalšie nastavenia; samo o sebe nevyberá konkrétny koncový bod proxy. Vyššie uvedené metadáta žiadosti poskytujú túto voľbu priamo.

Pre proxy s prihlasovacími údajmi Basic Scrapy dokumentuje informácie o používateľovi v URL proxy. Pred zostavením zakódujte rezervované znaky v častiach účtu. Pre tento účet nie je potrebné pridávať hlavičku Authorization webu.

Scrapy môže tiež objaviť proxy zo svojich podporovaných premenných prostredia. Explicitné metadáta proxy žiadosti majú prednosť. Pre zámerne priamu žiadosť hodnota proxy None vypne výber tohto middlewaru založený na prostredí pre žiadosť.

Súvisiace články