Posredniki na zahtevo s HTTP-posredniško vmesno programsko opremo Scrapy

Uporabite metapodatke zahtevkov Scrapy in njegovo posredniško vmesno programsko opremo, preden v crawler kopirate staro vmesno programsko opremo za preverjanje pristnosti po meri.

HTTP-posredniška vmesna programska oprema Scrapy prebere posrednika iz metapodatkov zahtevka:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Zamenjajte končno točko iz dokumentacije in pustite vmesno programsko opremo omogočeno. Seznam HTTP-posrednikov ponuja javne kandidate za URL tega zahtevka. To izbere pot zahtevka; zbirka posrednikov potrebuje ločeno logiko izbire.

Preverjanje pristnosti sledi izbrani končni točki

Vgrajena vmesna programska oprema obravnava poverilnice, zagotovljene prek podprtega URL-ja posrednika in povezane glave za avtorizacijo. Ubežite rezerviranim znakom URL in se izogibajte beleženju tega URL-ja.

Ločena vmesna programska oprema po spremembi končne točke ne bi smela obdržati glave Basic za prejšnjega posrednika. Naj ena plast upravlja pot in njene poverilnice skupaj.

Vrstni red izbire in privzete vrednosti

Če posrednika izbere vmesna programska oprema za prenašanje po meri, jo zaženite, preden vgrajena posredniška vmesna programska oprema obdela zahtevek. Preverite vrstni red in API nameščene izdaje; zastareli uvozi scrapy.contrib pripadajo starejšim izdajam.

Okolje procesa lahko zagotovi tudi privzete vrednosti, specifične za shemo. Za namerno neposreden zahtevek uporabite dokumentirano posebno vedenje metapodatkov proxy: manjkajoč ključ ne pomeni nujno neposrednega dostopa.

Preverite dejanski izid. 407 zadeva preverjanje pristnosti posrednika, medtem ko se omejitev hitrosti ali zavrnitev dostopa do spletnega mesta lahko pojavita po tem, ko je pot delovala pravilno.

Sorodni članki