Proksi kwa kila ombi kwa kutumia middleware ya proksi ya HTTP ya Scrapy

Tumia metadata ya maombi ya Scrapy na middleware yake ya proksi kabla ya kunakili middleware ya zamani ya uthibitishaji iliyobinafsishwa kwenye crawler.

Middleware ya proksi ya HTTP ya Scrapy inasoma proksi kutoka kwenye metadata ya ombi:

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Badilisha sehemu ya mwisho ya nyaraka na uache middleware ikiwa imewezeshwa. Orodha ya proksi za HTTP inatoa wateule wa umma kwa URL ya ombi hili. Hii huchagua njia ya ombi; bwawa la proksi linahitaji mantiki tofauti ya uteuzi.

Uthibitishaji hufuata sehemu ya mwisho iliyochaguliwa

Middleware iliyojengwa ndani hushughulikia vitambulisho vinavyotolewa kupitia URL ya proksi inayotumika na kichwa cha idhini kinachohusiana. Epuka herufi zilizohifadhiwa za URL na uepuke kuandika URL hiyo kwenye kumbukumbu.

Middleware tofauti haipaswi kubakiza kichwa cha Basic kwa proksi iliyotangulia baada ya sehemu ya mwisho kubadilika. Acha tabaka moja lisimamie njia na vitambulisho vyake pamoja.

Mpangilio wa uteuzi na chaguo-msingi

Ikiwa middleware ya upakuaji iliyobinafsishwa inachagua proksi, iendeshe kabla ya middleware ya proksi iliyojengwa ndani kuchakata ombi. Angalia mpangilio na API ya toleo lililosakinishwa; uagizaji scrapy.contrib uliopitwa na wakati ni wa matoleo ya zamani.

Mazingira ya mchakato yanaweza pia kutoa chaguo-msingi maalum kwa mpango. Kwa ombi la moja kwa moja kwa makusudi, tumia tabia maalum iliyoandikwa ya metadata proxy: ufunguo usiokuwepo haimaanishi kila wakati ufikiaji wa moja kwa moja.

Kagua matokeo halisi. 407 inahusiana na uthibitishaji wa proksi, wakati kikomo cha kasi au kukataliwa kwa ufikiaji wa tovuti kunaweza kuja baada ya njia kufanya kazi ipasavyo.

Makala zinazohusiana