Proxy pro jedno načtení v Scrapy shell

Použijte metadata proxy objektu Request uvnitř Scrapy shell a prohlédněte si odpověď tohoto nakonfigurovaného požadavku.

Uvnitř Scrapy shell sestavte požadavek, který má stahovač provést:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware čte hodnotu proxy z metadat tohoto Requestu. Musí být povolen v konfiguraci aktivního middlewaru stahovače. Proměnná response poté patří tomuto načtení. Pro tuto veřejnou URL vyberte adresu HTTP bez ověření ze seznamu HTTP proxy, pokud jsou veřejní prostředníci povoleni, a poté vložte její URL do metadat proxy tohoto požadavku.

Spuštění shellu z projektu Scrapy mu umožní načíst konfiguraci tohoto projektu. To vybírá middleware a další nastavení; samo o sobě nevybírá konkrétní koncový bod proxy. Výše uvedená metadata požadavku tuto volbu poskytují přímo.

Pro proxy s přihlašovacími údaji Basic Scrapy dokumentuje informace o uživateli v URL proxy. Před sestavením zakódujte rezervované znaky v částech účtu. Pro tento účet není nutné přidávat hlavičku Authorization webu.

Scrapy může také objevovat proxy ze svých podporovaných proměnných prostředí. Explicitní metadata proxy požadavku mají přednost. Pro záměrně přímý požadavek hodnota proxy None vypne výběr tohoto middlewaru založený na prostředí pro daný požadavek.

Související články