Scrapy proxy millumlag: Request og None sum afturvendandi virði

Proxy bústaðurin broytist í logginum. Málið vísir seg aldri í atgongdarlogginum hjá proxyinum. Kanna, um millumlagið títt yvirhøvur letur fyrispurningin ná niðurhalsforritinum.

Í niðurhalsmillumlaginum hjá Scrapy merkir at lata eitt Request aftur, at tann fyrispurningurin verður tíðarplanaður aftur. Tað merkir ikki «hald fram at senda hendan lutin við metadátunum, sum eg júst broytti».

Fyri ein veljara, sum bara velur eina leið, er tann týðandi formurin:

def process_request(self, request):
    request.meta['proxy'] = self.choose_proxy()
    return None

Hesin parturin vísir núverandi formin á krokinum; brúka tað millumlagsgrænaseiðið, sum tann innsetta Scrapy-útgávan stuðlar. Veljarin má lata eitt galdandi endapunkt aftur og viðgera eitt ótøkt savn greitt. Ein almennur skriður, sum loyvir almenn millumgongufólk, kann heinta HTTP-umbjóð frá HTTP proxy listanum fyri tað afturvendandi virðið.

At lata None aftur letur restina av fyrispurnarmillumlaginum og niðurhalsforritinum halda fram. At lata eitt annað Request aftur er nyttigt, tá tú viljandi skiftir ella roynir arbeiði aftur, men tað krevur eina orsøk og eitt útgangstreyt.

Ein snara, sum hvørja ferð letur sama fyrispurning aftur, kann koyra sín egna veljarakota uppaftur og uppaftur uttan nakrantíð at gera samband við málið. At hækka tíðarmørk ella opna fleiri proxy-portar kann ikki bøta um ta stýringarstreymislykkjuna.

Kanna innreiðslu í millumlagið, afturvendandi atferð og fyrsta veruliga netroynd sum sundurliggjandi hendingar. Ein log-linja, sum sigur «proxy valt», prógvar bara, at veljarin koyrdi. Hon prógvar ikki, at ein fyrispurningur við tí valda endapunktinum varð sendur.