’n Proxy vir een verkryging in Scrapy-shell

Binne die Scrapy-shell bou jy die versoek wat jy wil hê die aflaaier moet uitvoer:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware lees die proxy-waarde uit daardie Request se metadata. Dit moet in die aktiewe aflaaier-middelware-konfigurasie geaktiveer wees. Die response-veranderlike daarna behoort aan hierdie verkryging. Vir hierdie openbare URL kies ’n HTTP-adres sonder verifikasie uit die HTTP-proxylys as openbare tussenbemiddelaars toegelaat word, en plaas dan die URL in daardie versoek se proxy-metadata.

As die shell vanuit die Scrapy-projek begin word, kan dit daardie projek se konfigurasie laai. Dit kies middelware en ander instellings; dit kies nie self ’n bepaalde proxy-eindpunt nie. Die versoek-metadata hierbo voorsien daardie keuse direk.

Vir ’n proxy met Basic-aanmelding dokumenteer Scrapy gebruikersinligting in die proxy-URL. Enkodeer gereserveerde karakters in die rekeningdele voordat dit gebou word. Dit is nie nodig om ’n Authorization-opskrif vir daardie rekening by die webwerf te voeg nie.

Scrapy kan ook proxy’s uit sy ondersteunde omgewingsveranderlikes vind. ’n Versoek se eksplisiete proxy-metadata het voorrang. Vir ’n doelbewus direkte versoek skakel ’n proxy-waarde van None daardie middelware se omgewingsgebaseerde keuse vir die versoek uit.