Proxies għal kull talba bil-middleware tal-proxy HTTP ta' Scrapy

Użaw il-metadata tat-talbiet ta' Scrapy u l-middleware tal-proxy tiegħu qabel ma tikkupjaw middleware antik personalizzat tal-awtentikazzjoni f'crawler.

Il-middleware tal-proxy HTTP ta' Scrapy jaqra proxy mill-metadata tat-talba:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Issostitwixxi l-punt tat-tmiem tad-dokumentazzjoni u żomm il-middleware attivat. Il-lista tal-proxies HTTP toffri kandidati pubbliċi għall-URL ta' din it-talba. Dan jagħżel ir-rotta tat-talba; pool ta' proxies jeħtieġ loġika ta' għażla separata.

L-awtentikazzjoni ssegwi l-punt tat-tmiem magħżul

Il-middleware inkorporat jimmaniġġja l-kredenzjali pprovduti permezz tal-URL tal-proxy appoġġjat u l-intestatura tal-awtorizzazzjoni assoċjata. Escape il-karattri riżervati tal-URL u evita li tillogja dak l-URL.

Middleware separat m'għandux iżomm intestatura Basic għall-proxy preċedenti wara li jinbidel il-punt tat-tmiem. Ħalli saff wieħed jimmaniġġja r-rotta u l-kredenzjali tagħha flimkien.

Ordni tal-għażla u valuri predefiniti

Jekk middleware tad-download personalizzat jagħżel il-proxy, eżegwih qabel ma l-middleware tal-proxy inkorporat jipproċessa t-talba. Iċċekkja l-ordni u l-API tar-rilaxx installat; imports scrapy.contrib skaduti jappartjenu għal rilaxxi eqdem.

L-ambjent tal-proċess jista' wkoll jipprovdi valuri predefiniti speċifiċi għall-iskema. Għal talba diretta b'mod intenzjonat, uża l-imġiba speċjali dokumentata tal-metadata proxy: ċavetta nieqsa mhijiex neċessarjament aċċess dirett.

Ispezzjona r-riżultat attwali. 407 jikkonċerna l-awtentikazzjoni tal-proxy, filwaqt li limitu tar-rata jew ċaħda tal-aċċess tas-sit jistgħu jaslu wara li r-rotta taħdem sew.

Artikli relatati