Proxy fyrir hverja beiðni með HTTP-proxy-miðlarinum í Scrapy

Notaðu beiðnimetagögn Scrapy og proxy-miðlarann áður en þú afritar gamlan sérsniðinn auðkenningarmiðlara inn í skriðdreka.

HTTP-proxy-miðlarinn í Scrapy les proxy úr beiðnimetagögnum:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Skiptu út endapunktinum úr skjölunum og haltu miðlaranum virkum. HTTP-proxylistinn býður opinbera kandídatar fyrir URL þessarar beiðni. Þetta velur leið beiðnarinnar; proxypottur þarf aðskilda valrökfræði.

Auðkenning fylgir völdum endapunkti

Innbyggði miðlarinn annast skilríki sem koma í gegnum studda proxy-URL-ið og tilheyrandi auðkenningarhaus. Flýðu frátekin URL-tákn og forðastu að skrá það URL.

Aðskilinn miðlari ætti ekki að halda Basic-haus fyrir fyrra proxy eftir að endapunkturinn breytist. Láttu eitt lag stýra leiðinni og skilríkjum hennar saman.

Valröð og sjálfgefin gildi

Ef sérsniðinn niðurhalsmiðlari velur proxyið, keyrðu hann áður en innbyggði proxy-miðlarinn vinnur beiðnina. Athugaðu röð og API uppsettrar útgáfu; úreltar scrapy.contrib innflytjendur tilheyra eldri útgáfum.

Ferlisumhverfið getur líka veitt sjálfgefin gildi sem eru sértæk fyrir skema. Fyrir viljandi beina beiðni skaltu nota skjalfesta sérstaka hegðun proxy metagagnanna: vantar lykil þýðir ekki endilega beinan aðgang.

Skoðaðu raunverulega niðurstöðu. 407 varðar auðkenningu proxysins, en hraðatakmörk eða aðgangsneitun vefsins geta komið eftir að leiðin virkaði rétt.

Tengdir greinar