Starpniekserveris vienai ieguvei Scrapy shell

Scrapy shell iekšienē izveidojiet pieprasījumu, kuru vēlaties, lai lejupielādētājs izpildītu:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware nolasa starpniekservera vērtību no šī Request metadatiem. Tam jābūt iespējotam aktīvā lejupielādētāja middleware konfigurācijā. Mainīgais response pēc tam pieder šai ieguvei. Šim publiskajam URL izvēlieties neautentificētu HTTP adresi no HTTP starpniekserveru saraksta, ja publiskie starpnieki ir atļauti, pēc tam ievietojiet tās URL šī pieprasījuma starpniekservera metadatos.

Shell palaišana no Scrapy projekta ļauj tam ielādēt šī projekta konfigurāciju. Tas izvēlas middleware un citus iestatījumus; tas pats neizvēlas konkrētu starpniekservera galapunktu. Iepriekš minētie pieprasījuma metadati sniedz šo izvēli tieši.

Starpniekserverim ar Basic akreditācijas datiem Scrapy dokumentē lietotāja informāciju starpniekservera URL. Pirms tā veidošanas kodējiet rezervētās rakstzīmes konta komponentos. Šim kontam nav jāpievieno vietnes Authorization galvene.

Scrapy var arī atklāt starpniekserverus no atbalstītajiem vides mainīgajiem. Pieprasījuma skaidriem starpniekservera metadatiem ir prioritāte. Apzināti tiešam pieprasījumam starpniekservera vērtība None atspējo šī middleware uz vidi balstīto atlasi pieprasījumam.