E Proxy fir eng eenzeg Ofruff an der Scrapy-Shell

Benotzt d'Proxy-Metadaten vun engem Request an der Scrapy-Shell an iwwerpréift d'Äntwert vun där konfiguréierter Ufro.

An der Scrapy-Shell baut d'Ufro, déi den Downloader ausféiere soll:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware liest de Proxy-Wäert aus den Metadaten vun deem Request. Et muss an der Konfiguratioun vum aktiven Downloader-Middleware aktivéiert sinn. D'Variabel response duerno gehéiert zu dëser Ofruff. Fir dës ëffentlech URL wielt eng HTTP-Adress ouni Authentifikatioun aus der HTTP-Proxy-Lëscht, wann ëffentlech Vermëttler erlaabt sinn, a setzt dann hir URL an d'Proxy-Metadaten vun där Ufro.

D'Shell aus dem Scrapy-Projet starten erlaabt et, d'Konfiguratioun vun deem Projet ze lueden. Dat wielt Middleware an aner Astellungen; et wielt awer net selwer en bestëmmten Proxy-Endpunkt. D'Ufro-Metadaten uewen bidden déi Wiel direkt.

Fir e Proxy mat Basic-Accèsdonnéeën dokumentéiert Scrapy d'Benotzerinformatioun an der Proxy-URL. Kodéiert reservéiert Zeechen an den Kontkomponenten, ier Dir se baut. Et ass net néideg, en Authorization-Header vun der Websäit fir dee Kont derbäizesetzen.

Scrapy kann och Proxye aus sengen ënnerstëtzten Ëmweltvariabelen entdecken. Déi explizit Proxy-Metadaten vun enger Ufro hunn Virrang. Fir eng bewosst direkt Ufro deaktivéiert e Proxy-Wäert None déi ëmweltbaséiert Auswiel vun deem Middleware fir d'Ufro.

Ähnlech Artikelen