Scrapy-proxy-samtidigheit på tvers av fleire domene
Bruk den globale samtidigheitsgrensa til nedlastaren når fleire måldomene brukar same proxykvote, og rekn deretter med andre crawlere som deler den kontoen.
Viss kvar destinasjon brukar éin proxykonto, kan kontoen sin løyve til samtidige førespurnader bli brukt opp på tvers av alle desse destinasjonane. Ei grense per domene åleine uttrykkjer ikkje dette felles budsjettet.
For ein hypotetisk konto som tillèt høgst 20 samtidige førespurnader, hald litt plass ledig og set den globale nedlastargrensa til crawlaren:
CONCURRENT_REQUESTS = 16Dette er ei illustrerande fordeling, ikkje ein tilrådd verdi for kvar leverandør. Scrapy definerer CONCURRENT_REQUESTS som det maksimale talet på samtidige førespurnader til nedlastaren. Styring per domene kan senkje samtidigheita ytterlegare; ho erstattar ikkje det globale taket.
Ta med andre crawlere i reknestykket. To uavhengige crawlere med 16 førespurnader kvar kan til saman overskride eit delt løyve på 20. Del budsjettet medvite, eller handhev ei felles grense der desse klientane møtest.
Fastset òg kva leverandøren tel. HTTP-førespurnader, opne TCP-tilkoplingar, aktive tunnelar og førespurnader per sekund er ulike storleikar. Varige tilkoplingar og multipleksing kan gjere tala deira ulike. Ei innstilling for førespurnadssamtidigheit er difor ikkje ein fullstendig tilkopling- eller hastigheitsavgrensar.
Hald tempoet til målområdet som ei eiga avgrensing. Lågare samtidigheit eller ei nedlastingsforseinking kan framleis vere høveleg for ein einskild destinasjon sjølv når proxykontoen har ubrukt kapasitet.