Proksis na kowace buƙata tare da middleware ɗin proksi na HTTP na Scrapy

Yi amfani da bayanan buƙatun Scrapy da middleware ɗin proksinsa kafin kwafin tsohon middleware na tabbatarwa na al'ada cikin crawler.

Middleware ɗin proksi na HTTP na Scrapy yana karanta proksi daga bayanan buƙata:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Maye gurbin ƙarshen bayanin da ke cikin takardun kuma ka bar middleware ɗin a kunne. Jerin proksin HTTP yana ba da ƴan takara na jama'a don URL ɗin wannan buƙata. Wannan yana zaɓar hanyar buƙatar; tafkin proksi yana buƙatar dabaru na zaɓi daban.

Tabbatarwa tana bin ƙarshen da aka zaɓa

Middleware ɗin da aka gina a ciki yana kula da shaidun da aka bayar ta hanyar URL ɗin proksin da yake goyon baya da kuma kanun izini mai alaƙa. Tsere wa haruffan URL da aka tanada kuma ka guji yin log ɗin wannan URL.

Middleware na daban bai kamata ya riƙe kanun Basic na proksin da ya gabata ba bayan ƙarshen ya canza. Bari Layer ɗaya ya kula da hanya da shaidunta tare.

Tsarin zaɓi da tsoffin ƙima

Idan middleware ɗin saukarwa na al'ada ya zaɓi proksin, gudanar da shi kafin middleware ɗin proksin da aka gina a ciki ya sarrafa buƙatar. Duba tsari da API na sigar da aka shigar; tsoffin shigo da scrapy.contrib na tsofaffin siga ne.

Yanayin tsari kuma na iya samar da tsoffin ƙima na musamman ga tsari. Don buƙata kai tsaye da gangan, yi amfani da rubutaccen ɗabi'ar musamman ta bayanan proxy: rashin maɓalli ba ya nufin samun kai tsaye koyaushe.

Duba ainihin sakamakon. 407 ya shafi tabbatarwar proksi, yayin da iyakancewar sauri ko hana shiga gidan yanar gizo na iya zuwa bayan hanyar ta yi aiki daidai.

Labarai masu alaƙa