Proksi për çdo kërkesë me middleware-in e proksit HTTP të Scrapy

Përdorni metadatat e kërkesave të Scrapy dhe middleware-in e proksit përpara se të kopjoni një middleware të vjetër personalizuar të autentikimit në një crawler.

Middleware-i i proksit HTTP i Scrapy lexon një proksi nga metadatat e kërkesës:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Zëvendësoni pikën përfundimtare të dokumentacionit dhe mbajeni middleware-in të aktivizuar. Lista e proksive HTTP ofron kandidatë publikë për URL-në e kësaj kërkese. Kjo zgjedh rrugën e kërkesës; një grupi proksish i duhet logjikë e veçantë përzgjedhjeje.

Autentikimi ndjek pikën përfundimtare të zgjedhur

Middleware-i i integruar trajton kredencialet e dhëna përmes URL-së së proksit të mbështetur dhe kokës së autorizimit përkatës. Shpëtoni karakteret e rezervuara të URL-së dhe shmangni regjistrimin e asaj URL-je.

Një middleware i veçantë nuk duhet të mbajë një kokë Basic për proksin e mëparshëm pas një ndryshimi të pikës përfundimtare. Lëreni një shtresë të menaxhojë rrugën dhe kredencialet e saj së bashku.

Rendi i përzgjedhjes dhe parazgjedhjet

Nëse middleware-i i shkarkimit i personalizuar zgjedh proksin, ekzekutojeni përpara se middleware-i i integruar i proksit të përpunojë kërkesën. Kontrolloni rendin dhe API-në e versionit të instaluar; importet scrapy.contrib të vjetruara i përkasin versioneve më të vjetra.

Mjedisi i procesit mund të ofrojë gjithashtu parazgjedhje specifike për skemën. Për një kërkesë qëllimisht të drejtpërdrejtë, përdorni sjelljen speciale të dokumentuar të metadave proxy: një çelës që mungon nuk do të thotë domosdoshmërisht akses i drejtpërdrejtë.

Shqyrtoni rezultatin aktual. Një 407 ka të bëjë me autentikimin e proksit, ndërsa një kufi shpejtësie ose refuzim aksesi i faqes mund të vijë pasi rruga të ketë funksionuar si duhet.

Artikuj të ngjashëm