Päringupõhised puhverserverid Scrapy HTTP puhverserveri vahetarkvaraga

Kasutage Scrapy päringu metaandmeid ja selle puhverserveri vahetarkvara enne, kui kopeerite vana kohandatud autentimise vahetarkvara roomajasse.

Scrapy HTTP puhverserveri vahetarkvara loeb puhverserveri päringu metaandmetest:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Asendage dokumentatsiooni lõpp-punkt ja hoidke vahetarkvara lubatud. HTTP puhverserverite loend pakub selle päringu URL-ile avalikke kandidaate. See valib päringu marsruudi; puhverserverite kogum vajab eraldi valikuloogikat.

Autentimine järgib valitud lõpp-punkti

Sisseehitatud vahetarkvara käsitleb volitusi, mis on edastatud selle toetatud puhverserveri URL-i ja seotud autoriseerimispealkirja kaudu. Põgenege reserveeritud URL-i märgid ja vältige selle URL-i logimist.

Eraldi vahetarkvara ei tohiks pärast lõpp-punkti muutumist säilitada Basic-pealkirja eelmise puhverserveri jaoks. Las üks kiht haldab marsruuti ja selle volitusi koos.

Valikujärjekord ja vaikeväärtused

Kui kohandatud allalaadimise vahetarkvara valib puhverserveri, käivitage see enne, kui sisseehitatud puhverserveri vahetarkvara päringu töötleb. Kontrollige paigaldatud versiooni järjekorda ja API-t; vananenud scrapy.contrib impordid kuuluvad vanematele versioonidele.

Protsessi keskkond võib samuti pakkuda skeemipõhiseid vaikeväärtusi. Teadlikult otsese päringu jaoks kasutage dokumenteeritud metaandmete proxy erikäitumist: puuduv võti ei tähenda tingimata otsest juurdepääsu.

Uurige tegelikku tulemust. 407 puudutab puhverserveri autentimist, samas kui veebisaidi kiiruspiirang või juurdepääsu keeld võib saabuda pärast seda, kui marsruut on korralikult töötanud.

Seotud artiklid