Procsidhean gach iarrtais le middleware proxy HTTP Scrapy

Leughaidh middleware proxy HTTP Scrapy proxy bho mheata-dàta an iarrtais:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Cuir puing-crìche na sgrìobhainne an àite agus cùm am middleware air a chomasachadh. Tha an liosta proxy HTTP a' tabhann tagraichean poblach airson URL an iarrtais seo. Bidh seo a' taghadh slighe an iarrtais; feumaidh cruinneachadh proxy loidsig taghaidh fa leth.

Bidh dearbhadh a' leantainn a' phuing-crìche a thaghadh

Làimhsichidh am middleware a-staigh teisteanasan a thèid a sholarachadh tron URL proxy le taic agus an ceannard ùghdarrachais co-cheangailte. Teich na caractaran URL glèidhte agus seachain an URL sin a logadh.

Cha bu chòir do mheadhan-uidheam fa leth ceannard Basic a chumail airson a' phroxy roimhe às dèidh a' phuing-crìche atharrachadh. Leig le aon fhilleadh an t-slighe agus a teisteanasan a riaghladh còmhla.

Òrdugh taghaidh agus bunaitean

Ma thaghas middleware luchdaidh gnàthaichte am proxy, ruith e mus pròiseas am middleware proxy a-staigh an t-iarrtas. Thoir sùil air òrdugh agus API an fhiosrachaidh a chaidh a stàladh; buinidh in-mhalairt scrapy.contrib a tha aosmhor do dh'fhiosrachaidhean nas sine.

Faodaidh àrainneachd a' phròiseis bunaitean a sholarachadh cuideachd a tha sònraichte don sgeama. Airson iarrtas dìreach a dh'aona ghnothaich, cleachd giùlan sònraichte clàraichte nam meata-dàta proxy: chan eil iuchair a tha a dhìth a' ciallachadh ruigsinneachd dhìreach gu riatanach.

Sgrùdaich an toradh fìor. Tha 407 a' buntainn ri dearbhadh proxy, fhad 's a dh'fhaodas crìoch-ìre làraich no diùltadh ruigsinneachd tighinn às dèidh don t-slighe obrachadh gu ceart.