Tarpinis serveris vienam gavimui Scrapy shell

Scrapy shell viduje sukurkite užklausą, kurią norite, kad atliktų atsisiuntėjas:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware nuskaito tarpinio serverio reikšmę iš to Request metaduomenų. Jis turi būti įjungtas aktyvios atsisiuntėjo middleware konfigūracijoje. Kintamasis response po to priklauso šiam gavimui. Šiam viešam URL pasirinkite neautentifikuotą HTTP adresą iš HTTP tarpinių serverių sąrašo, jei vieši tarpininkai leidžiami, tada įdėkite jo URL į to užklausimo tarpinio serverio metaduomenis.

Shell paleidimas iš Scrapy projekto leidžia jam įkelti to projekto konfigūraciją. Tai parenka middleware ir kitus nustatymus; jis pats neparenka konkretaus tarpinio serverio galinio taško. Aukščiau pateikti užklausimo metaduomenys tą pasirinkimą pateikia tiesiogiai.

Jei tarpinis serveris naudoja Basic prisijungimo duomenis, Scrapy dokumentuoja vartotojo informaciją tarpinio serverio URL. Prieš jį kuriant, užkoduokite rezervuotus simbolius paskyros komponentuose. Tam tikrai paskyrai nereikia pridėti svetainės Authorization antraštės.

Scrapy taip pat gali aptikti tarpinius serverius iš palaikomų aplinkos kintamųjų. Užklausos aiškūs tarpinio serverio metaduomenys turi pirmenybę. Sąmoningai tiesioginei užklausai tarpinio serverio reikšmė None išjungia to middleware aplinkos pagrindu veikiančią atranką užklausai.