Ein blokkerandi proxy-pulja leiting kann steðga Scrapy
Halt eitt synkront proxy-pulja API-kall uttanfyri hendingarlúkkuna hjá Scrapy og gev endpoint-avatkan sína egna feil-politikk.
Skriðarin hevur nóg mikið av samtíðar fyrispurningum uppsett. Tó steðgar hann, hvørja ferð hann biður proxy-puljan um aðra adressu. At leggja fleiri proxyar aftrat rørur ikki ta steðgin.
Eitt vanligt middleware-mynstur kallar requests.get(pool_url) inni í process_request(). Hetta er ein synkron netverkshandling á einum vegi, sum verður væntað at samstarva við asynkrona motori Scrapy. Meðan kallið bíðar, kann tað halda aftur av óviðkomandi arbeiði á sama hendingarlúkku-tráði.
Tað eru tvey fyrispurningar í arbeiðinum
Annar fyrispurningurin fær ein endpoint frá puljatænastuni. Hin brúkar tann endpoint til at seta seg í samband við málið. Mát og greið frá teimum hvør sær. Ein seinfør API hjá puljanum kann fáa hvønn valdan proxy at hyggja seinføran út, áðrenn samstundis hevur sett seg í samband við hann.
Brúka eina asynkrona avatkanar-integratión, sum tann installeraða Scrapy-útgávan stuðlar, ella fá og endurnýggja eitt avmarkað lokalt endpoint-sett uttanfyri tann kritiska veg fyri hvønn fyrispurning. Um blokkerandi arbeiði má flytast, gev tí avvarðandi útinn síni eigin mørk og tíðarmarkaviðgerð; ein óavmarkað rað flytir bert seinkingina.
Ger ikki sjálvvirkandi eitt annað avatkanarkall fyri hvønn fyrispurning. Eitt stuttlívandi cache ella ein leigað lota kann minka treytina av puljatænastuni, útgangsstøði at lívstíðin passar við veruligu endpoint-politikkina hjá tænastuni.
Greina, hvat ein miseydnað leiting merkir
Eitt tómt ella miseydnað svar frá puljanum eigur ikki ljóðleyst at taka proxy-metadáta burtur og loyva einum beinleiðis fyrispurningi. Vel eina greiða úrslit: bíða innan fyri arbeiðsbúdsettina, miseydnast, ella brúka ein góðkendan cacheðan endpoint.
Halt eisini egna leið API-innar hjá puljanum fría. Um hon er ein innanhýsis tænasta, kann at senda privata vertsnavn hennara gjøgnum júst tann proxyin, sum hon hjálpir at velja, skapa eina sirkulera treyt.
Tá ið avatkan virkar uttan at blokkera óviðkomandi arbeiði, kann verða kannað tann vanliga proxy-viðurskifti. Hetta eru aðskildar umbøtur, og tíðarleiki teirra eigur aðskild øki í logginum.