Užklausos proxy su Scrapy HTTP proxy tarpine programine įranga

Naudokite Scrapy užklausų metaduomenis ir jos proxy tarpinę programinę įrangą prieš kopijuodami seną pasirinktinę autentifikavimo tarpinę programinę įrangą į crawler.

Scrapy HTTP proxy tarpinė programinė įranga nuskaito proxy iš užklausos metaduomenų:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Pakeiskite dokumentacijos galinį tašką ir palikite tarpinę programinę įrangą įjungtą. HTTP proxy sąrašas siūlo viešus kandidatus šios užklausos URL. Tai parenka užklausos maršrutą; proxy telkiniui reikia atskiros atrankos logikos.

Autentifikavimas seka pasirinktą galinį tašką

Integruota tarpinė programinė įranga tvarko kredencialus, pateiktus per palaikomą proxy URL ir susijusią autorizacijos antraštę. Escipuokite rezervuotus URL simbolius ir venkite registruoti tą URL.

Atskira tarpinė programinė įranga neturėtų išlaikyti Basic antraštės ankstesniam proxy po to, kai pasikeičia galinis taškas. Tegul vienas sluoksnis valdo maršrutą ir jo kredencialus kartu.

Atrankos tvarka ir numatytosios reikšmės

Jei pasirinktinė atsisiuntimo tarpinė programinė įranga pasirenka proxy, paleiskite ją prieš integruotai proxy tarpinei programinei įrangai apdorojant užklausą. Patikrinkite įdiegtos versijos tvarką ir API; pasenę scrapy.contrib importai priklauso senesnėms versijoms.

Proceso aplinka taip pat gali pateikti schemai būdingas numatytąsias reikšmes. Jei sąmoningai norite tiesioginės užklausos, naudokite dokumentuotą specialų proxy metaduomenų elgesį: trūkstamas raktas nebūtinai reiškia tiesioginę prieigą.

Patikrinkite faktinį rezultatą. 407 susijęs su proxy autentifikavimu, o svetainės spartos limitas arba prieigos atsisakymas gali ateiti po to, kai maršrutas veikė teisingai.

Susiję straipsniai