Scrapy proxy middleware: Request da None sakamakon dawowa

Adireshin proxy yana canzawa a cikin log. Wurin da ake zuwa ba ya taɓa bayyana a cikin log ɗin shiga na proxy. Bincika ko middleware ɗinka yana barin buƙatar ta isa ga mai saukarwa kwata-kwata.

A cikin middleware na mai saukarwa na Scrapy, mayar da Request yana nufin sake tsara wannan buƙatar. Ba yana nufin «ci gaba da aika wannan abu tare da metadata da na canza yanzu» ba.

Ga mai zaɓe wanda kawai ke zaɓar hanya, siffar da ke da muhimmanci ita ce:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Wannan ɗan yanki yana nuna siffar ƙugiya ta yanzu; yi amfani da haɗin middleware da sigar Scrapy da aka shigar ke tallafawa. Mai zaɓe dole ya mayar da madaidaicin wurin ƙarshe kuma ya magance tafkin da ba ya samuwa a fili. Bincike na jama'a da ke ba da izinin masu shiga tsakani na jama'a zai iya ɗebo 'yan takarar HTTP daga jerin proxy na HTTP don wannan sakamakon dawowa.

Mayar da None yana barin sauran middleware ɗin buƙata da mai saukarwa su ci gaba. Mayar da wani Request yana da amfani lokacin da kake maye gurbin aiki ko sake gwadawa da gangan, amma yana bukatar dalili da sharadi na fita.

Mai juyawa da ke mayar da buƙata ɗaya kowace lokaci zai iya maimaita gudanar da lambar zaɓin sa ba tare da taɓa yin haɗin zuwa ga wurin ba. Ɗaukar lokacin jira sama ko buɗe ƙarin tashoshin proxy ba zai iya gyara wannan madafan sarrafawa ba.

Bincika shigar middleware, halin dawowa, da ainihin yunƙurin hanyar sadarwa na farko a matsayin abubuwan da suka faru daban. Layin log da ke cewa «an zaɓi proxy» yana tabbatar da cewa mai zaɓe ya gudana kawai. Ba ya tabbatar da cewa an aika buƙata da zaɓaɓɓen wurin ƙarshe.