Scrapy-proxy-samtidighet på tvers av flere domener

Hvis hver destinasjon bruker én proxykonto, kan kontoens tillatte samtidige forespørsler bli brukt opp på tvers av alle disse destinasjonene. En grense per domene alene uttrykker ikke dette felles budsjettet.

For en hypotetisk konto som tillater høyst 20 samtidige forespørsler, hold litt plass ledig og sett crawlerens globale nedlastergrense:

CONCURRENT_REQUESTS = 16

Dette er en illustrerende fordeling, ikke en anbefalt verdi for enhver leverandør. Scrapy definerer CONCURRENT_REQUESTS som nedlasterens maksimale antall samtidige forespørsler. Styring per domene kan senke samtidigheten ytterligere; den erstatter ikke det globale taket.

Ta med andre crawlere i regnestykket. To uavhengige crawlere med 16 forespørsler hver kan til sammen overskride en delt tillatelse på 20. Del budsjettet bevisst, eller håndhev en felles grense der disse klientene møtes.

Fastslå også hva leverandøren teller. HTTP-forespørsler, åpne TCP-tilkoblinger, aktive tunneler og forespørsler per sekund er ulike størrelser. Vedvarende tilkoblinger og multipleksing kan gjøre antallet deres forskjellig. En innstilling for forespørselssamtidighet er derfor ikke en fullstendig tilkoblings- eller hastighetsbegrenser.

Hold tempoet til målområdet som en egen begrensning. Lavere samtidighet eller en nedlastingsforsinkelse kan fortsatt være passende for én enkelt destinasjon selv når proxykontoen har ubrukt kapasitet.