Awọn proxy fun gbogbo ìbéèrè pẹlu HTTP proxy middleware ti Scrapy

Lo metadata ìbéèrè Scrapy ati proxy middleware rẹ ki o to daakọ authentication middleware aṣa atijọ sinu crawler kan.

HTTP proxy middleware ti Scrapy ka proxy lati inu metadata ìbéèrè:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Rọpo opin opin ninu iwe-ipamọ ki o si jẹ ki middleware wa ni mimu. Atokọ proxy HTTP n funni ni awọn oludije gbangba fun URL ìbéèrè yii. Eyi yan ipa-ọna ìbéèrè naa; adagbe proxy nilo ọgbọn yiyan lọtọ.

Ìjẹrisi tẹle opin opin ti a yan

Middleware ti a kọ sinu rẹ n ṣakoso awọn ẹri ti a pese nipasẹ URL proxy ti o ni atilẹyin ati akọsori aṣẹ ti o ni ibatan. Yọ awọn ami URL ti a fi pamọ kuro ki o yago fun gigbasilẹ URL yẹn.

Middleware lọtọ ko yẹ ki o da akọsori Basic duro fun proxy ti tẹlẹ lẹhin ti opin opin ba yipada. Jẹ ki Layer kan ṣakoso ipa-ọna ati awọn ẹri rẹ papọ.

Ilana yiyan ati awọn aiyipada

Ti middleware gbigba lati ayelujara aṣa ba yan proxy naa, ṣiṣẹ rẹ ki middleware proxy ti a kọ sinu to ṣe ilana ìbéèrè naa. Ṣayẹwo ilana ati API ti ẹda ti a fi sori ẹrọ; awọn agbewọle scrapy.contrib ti o ti kọja jẹ ti awọn ẹda atijọ.

Ayika ilana le tun pese awọn aiyipada pato fun ero. Fun ìbéèrè taara ni imọọmọ, lo ihuwasi pataki ti a kọ silẹ ti metadata proxy: bọtini ti ko si ko tumọ si iwọle taara nigbagbogbo.

Ṣayẹwo abajade gidi. 407 jẹ nipa ìjẹrisi proxy, nigba ti iwọn iyara tabi kiko iwọle ti oju opo wẹẹbu le wa lẹhin ti ipa-ọna ba ti ṣiṣẹ daradara.

Àwọn àpilẹ̀kọ tó jọra