Scrapy-proxy-samtidighet på tvers av flere domener

Dersom hver destinasjon bruker én proxykonto, kan kontoens tillatte samtidige forespørsler bli brukt opp på tvers av alle disse destinasjonene. En grense per domene alene uttrykker ikke dette felles budsjettet.

For en tenkt konto som tillater høyst 20 samtidige forespørsler, hold litt plass ledig og sett crawlerens globale nedlastergrense:

CONCURRENT_REQUESTS = 16

Dette er en illustrerende fordeling, ikke en anbefalt verdi for enhver leverandør. Scrapy definerer CONCURRENT_REQUESTS som nedlasterens maksimale antall samtidige forespørsler. Styring per domene kan senke samtidigheten ytterligere; den erstatter ikke det globale taket.

Regn også med andre crawlere. To uavhengige crawlere med 16 forespørsler hver kan til sammen overskride en delt tillatelse på 20. Del budsjettet bevisst, eller håndhev en felles grense der disse klientene møtes.

Avklar også hva leverandøren teller. HTTP-forespørsler, åpne TCP-tilkoblinger, aktive tunneler og forespørsler per sekund er forskjellige størrelser. Vedvarende tilkoblinger og multipleksing kan gjøre antallene ulike. En innstilling for forespørselssamtidighet er derfor ikke en fullstendig tilkoblings- eller hastighetsbegrenser.

Hold tempoet til målområdet som en egen begrensning. Lavere samtidighet eller en nedlastingsforsinkelse kan fortsatt passe for én enkelt destinasjon selv når proxykontoen har ubrukt kapasitet.