Middleware ya proksi ya Scrapy: thamani za kurudisha Request na None

Anwani ya proksi inabadilika kwenye kumbukumbu. Marudio hayaonekani kamwe kwenye kumbukumbu ya ufikiaji ya proksi. Angalia kama middleware yako inaruhusu ombi kufika kwa kipakuzi.

Katika middleware ya kipakuzi ya Scrapy, kurudisha Request kunamaanisha kupanga upya ombi hilo. Haimaanishi «endelea kutuma kitu hiki pamoja na metadata niliyobadilisha sasa hivi».

Kwa kichaguzi kinachochagua njia pekee, umbo muhimu ni:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Kipande hiki kinaonyesha umbo la sasa la ndoano; tumia kiolesura cha middleware kinachotumika na toleo la Scrapy lililosakinishwa. Kichaguzi lazima kirudishe kituo cha mwisho halali na kishughulikie kwa uwazi hifadhi isiyopatikana. Utambazaji wa umma unaoruhusu wapatanishi wa umma unaweza kuchukua wagombea wa HTTP kutoka orodha ya proksi za HTTP kwa thamani hiyo ya kurudisha.

Kurudisha None kunaruhusu middleware iliyobaki ya maombi na kipakuzi kuendelea. Kurudisha Request nyingine ni muhimu unapobadilisha au kujaribu tena kazi kwa makusudi, lakini kunahitaji sababu na sharti la kutoka.

Kizungushi kinachorudisha ombi lilelile kila mara kinaweza kuendesha msimbo wake wa uchaguzi mara kwa mara bila kufanya muunganisho wowote wa marudio. Kuongeza muda wa kusubiri au kufungua bandari zaidi za proksi hakuwezi kurekebisha mzunguko huo wa udhibiti.

Chunguza kuingia kwa middleware, tabia ya kurudisha na jaribio la kwanza halisi la mtandao kama matukio tofauti. Mstari wa kumbukumbu unaosema «proksi imechaguliwa» unathibitisha tu kwamba kichaguzi kilifanya kazi. Hauthibitishi kwamba ombi kwa kituo cha mwisho kilichochaguliwa lilitumwa.