Ein proxy for éi henting i Scrapy shell

Inne i Scrapy shell byggjer du førespurnaden du vil at nedlastaren skal utføre:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware les proxyverdien frå metadataa til denne Requesten. Han må vere aktivert i konfigurasjonen til den aktive nedlastar-midvaren. Variabelen response etterpå høyrer til denne hentinga. For denne offentlege URL-en vel du ei HTTP-adresse utan autentisering frå HTTP-proxylista dersom offentlege mellommenn er tillatne, og plasserer deretter URL-en i proxy-metadataa til denne førespurnaden.

Å starte shell frå Scrapy-prosjektet lèt han laste konfigurasjonen til prosjektet. Det vel midware og andre innstillingar; det vel ikkje sjølv eit bestemt proxy-endepunkt. Førespurnadsmetadataa ovanfor gjev det valet direkte.

For ein proxy som brukar Basic-legitimasjon, dokumenterer Scrapy brukarinformasjon i proxy-URL-en. Kód reserverte teikn i kontodelane før han blir bygd. Det er ikkje nødvendig å leggje til ein Authorization-header for nettstaden for den kontoen.

Scrapy kan også oppdage proxyar frå dei støtta miljøvariablane sine. Dei eksplisitte proxy-metadataa til ein førespurnad har forrang. For ein medvite direkte førespurnad deaktiverer ein proxyverdi på None det miljøbaserte valet til den midvaren for førespurnaden.