Proxy do jednego pobrania w Scrapy shell

W Scrapy shell zbuduj żądanie, które ma wykonać downloader:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware odczytuje wartość proxy z metadanych tego Request. Musi być włączony w konfiguracji aktywnego middleware pobierającego. Zmienna response później należy do tego pobrania. Dla tego publicznego URL wybierz nieuwierzytelniony adres HTTP z listy proxy HTTP, jeśli publiczni pośrednicy są dozwoleni, a następnie umieść jego URL w metadanych proxy tego żądania.

Uruchomienie powłoki z projektu Scrapy pozwala jej wczytać konfigurację tego projektu. To wybiera middleware i inne ustawienia; samo nie wybiera konkretnego punktu końcowego proxy. Powyższe metadane żądania dostarczają tego wyboru bezpośrednio.

W przypadku proxy używającego poświadczeń Basic Scrapy dokumentuje informacje o użytkowniku w URL proxy. Przed zbudowaniem zakoduj zarezerwowane znaki w składnikach konta. Dla tego konta nie trzeba dodawać nagłówka Authorization witryny.

Scrapy może również wykrywać proxy na podstawie obsługiwanych zmiennych środowiskowych. Jawne metadane proxy żądania mają pierwszeństwo. W przypadku celowo bezpośredniego żądania wartość proxy None wyłącza wybór oparty na środowisku tego middleware dla żądania.