Proxy fyri hvørja fyrispurning við HTTP-proxy-millumlagi Scrapy

Brúka Scrapy-fyrispurnarmetadáta og proxy-millumlagið, áðrenn tú avritar gamalt serstakt autentiseringarmillumlag í eina crawler.

HTTP-proxy-millumlagið hjá Scrapy les ein proxy úr fyrispurnarmetadátunum:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Skift út endapunktinum úr dokumentatiónini og lat millumlagið vera virkið. HTTP-proxy-listin bjóðar almennar kandídatar til hendan fyrispurnar-URL. Hetta velur leið fyrispurningarinnar; ein proxy-poolur trengir serstaka valgreiðslu.

Autentisering fylgir valda endapunktinum

Tá innbygda millumlagið viðgerðar skilríki, sum koma gjøgnum stuðlaða proxy-URL-in og hina viðkomandi heimildarhøvd. Escapaðu frátøknar URL-teikn og slepp at logga ta URL-in.

Eitt serstakt millumlag eigur ikki at halda einum Basic-høvd til fyrra proxy eftir at endapunkturin er broyttur. Lat eitt lag stýra leiðini og skilríkjunum saman.

Valrøð og sjálvgildi

Um eitt serstakt niðurhalningarmillumlag velur proxyið, koyr tað, áðrenn tað innbygda proxy-millumlagið viðgerðar fyrispurningin. Kanna røð og API á installeraðu útgávuni; foreldaðar scrapy.contrib-innflutningar hoyra til eldri útgávur.

Prosesumhvørvið kann eisini veita sjálvgildi fyri ávísa skemu. Til ein viljandi beinleiðis fyrispurning brúka dokumenteraða serstaka atferðina hjá proxy-metadátunum: ein manglandi leykur merkir ikki uttan víðari beinleiðis atgongd.

Kanna veruliga úrsitið. Ein 407 snýr seg um proxy-autentisering, meðan eitt mark á nøgd ella atgongd nokt av einari heimasíðu kann koma, eftir at leiðin hevur virkað rætt.

Skyldar greinar