Scrapy proxy middlewarea: Request eta None itzulera-balioak

Eman kontrola Scrapy proxy bat esleitu ondoren, deskargatu aurretik eskaera bera nahi gabe berriro programatu beharrean.

Proxyaren helbidea aldatu egiten da erregistroan. Helmuga ez da inoiz agertzen proxyaren sarbide-erregistroan. Egiaztatu zure middlewareak eskaera deskargatzailera iristen uzten duen.

Scrapyren deskargatzailearen middlewarean, Request bat itzultzeak eskaera hori berriro programatzea esan nahi du. Ez du esan nahi «jarraitu objektu hau oraintxe aldatu dudan metadatuarekin bidaltzen».

Bide bat soilik aukeratzen duen hautatzaile batentzat, forma garrantzitsua hau da:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Zati honek uneko kako-forma erakusten du; erabili instalatutako Scrapy bertsioak onartzen duen middleware interfazea. Hautatzaileak amaiera-puntu baliozkoa itzuli behar du eta erabilgarri ez dagoen pool bat modu esplizituan kudeatu. Bitartekari publikoak onartzen dituen arraste publiko batek HTTP hautagaiak har ditzake HTTP proxy zerrendatik itzulera-balio horretarako.

None itzultzeak gainerako eskaera-middlewareari eta deskargatzaileari jarraitzen uzten die. Beste Request bat itzultzea erabilgarria da lana nahita ordezkatzen edo berriz saiatzen duzunean, baina arrazoi bat eta irteera-baldintza bat behar ditu.

Aldiro eskaera bera itzultzen duen errotatzaile batek bere hautaketa-kodea behin eta berriz exekuta dezake helmugara konexiorik egin gabe. Denbora-mugak igotzeak edo proxy portu gehiago irekitzeak ezin du kontrol-fluxuko begizta hori konpondu.

Aztertu middlewarearen sarrera, itzulera-jokabidea eta lehen sare-saiakera erreala gertaera bereizi gisa. «Proxy hautatua» dioen erregistro-lerroak hautatzailea exekutatu zela frogatzen du soilik. Ez du frogatzen hautatutako amaiera-puntuarekin eskaera bat bidali zenik.

Erlazionatutako artikuluak