Ein proxy til eina henting í Scrapy shell

Inni í Scrapy shell, byggja tann fyrispurningin, sum tú vil at niðurtøkurin skal gera:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware lesur proxy-virðið úr metadátum tess Request. Tað má vera gildað í uppsetingini av virka niðurtøkumiddleware. Variablin response eftir tað hoyrir til hesa henting. Fyri hesa almennu URL, vel ein HTTP-adressu uttan autentisering úr HTTP-proxy-listanum, um almenn millumlið eru loyvd, og set so URL hennara í proxy-metadátur tess fyrispurningsins.

At byrja shell úr Scrapy-verkætlanini letur tað innlesa uppsetingina av tí verkætlanini. Tað velur middleware og aðrar stillingar; tað velur ikki sjálvt eitt ávíst proxy-endapunkt. Fyrispurningsmetadáturnar omanfyri geva tann valmøguleikan beinleiðis.

Fyri eina proxy, sum brúkar Basic-innlating, dokumenterar Scrapy brúkaraupplýsingar í proxy-URL-ini. Kodaðu reserverað tekin í kontupartunum, áðrenn tú byggir hana. Tað er ikki neyðugt at leggja eina Authorization-header á heimasíðuna fyri tann kontoin.

Scrapy kann eisini finna proxy úr teimum stuðlaðu umhvørvisbroytingunum. Ein fyrispurningur við greiðum proxy-metadátum hevur forgang. Fyri ein viljandi beinleiðis fyrispurning, ger eitt proxy-virði None valmøguleikan hjá tí middleware, sum byggir á umhvørvið, óvirkan fyri fyrispurningin.