Një proxy për një marrje në Scrapy shell

Brenda Scrapy shell, ndërtoni kërkesën që dëshironi të ekzekutojë shkarkuesi:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware lexon vlerën e proxy-t nga metadatat e atij Request. Ai duhet të jetë aktivizuar në konfigurimin e middleware-it aktiv të shkarkuesit. Variabla response më pas i përket kësaj marrjeje. Për këtë URL publike, zgjidhni një adresë HTTP pa autentikim nga lista e proxy-ve HTTP nëse ndërmjetësit publikë lejohen, më pas vendosni URL-në e saj në metadatat e proxy-t të asaj kërkese.

Nisja e shell-it nga projekti Scrapy i lejon atij të ngarkojë konfigurimin e atij projekti. Kjo zgjedh middleware dhe cilësime të tjera; ajo vetë nuk zgjedh një pikë fundore të caktuar proxy. Metadatat e kërkesës më sipër e ofrojnë atë zgjedhje drejtpërdrejt.

Për një proxy që përdor kredenciale Basic, Scrapy dokumenton informacionin e përdoruesit në URL-në e proxy-t. Kodoni karakteret e rezervuara në komponentët e llogarisë përpara se ta ndërtoni. Nuk është e nevojshme të shtoni një titull Authorization të faqes për atë llogari.

Scrapy gjithashtu mund të zbulojë proxy nga variablat e mjedisit që mbështet. Metadatat e qarta të proxy-t të një kërkese kanë përparësi. Për një kërkesë qëllimisht të drejtpërdrejtë, një vlerë proxy None çaktivizon zgjedhjen e bazuar në mjedis të atij middleware për kërkesën.