Konkorenza tal-proxy Scrapy fuq diversi dominji

Jekk kull destinazzjoni tuża kont wieħed tal-proxy, il-kwota ta' talbiet simultanji ta' dak il-kont tista' tiġi kkunsmata fuq dawk id-destinazzjonijiet kollha. Limitu għal kull dominju waħdu ma jesprimix dak il-baġit maqsum.

Għal kont ipotetiku li jippermetti mhux aktar minn 20 talba simultanja, ħalli ftit spazju u stabbilixxi l-limitu globali tad-downloader tal-crawler:

CONCURRENT_REQUESTS = 16

Dan huwa tqassim illustrattiv, mhux valur rakkomandat għal kull fornitur. Scrapy jiddefinixxi CONCURRENT_REQUESTS bħala n-numru massimu ta' talbiet simultanji tad-downloader. Il-kontrolli għal kull dominju jistgħu jnaqqsu l-konkorenza aktar; ma jissostitwixxux is-saqaf globali.

Ippjana wkoll crawlers oħra fil-kalkolu. Żewġ crawlers indipendenti, kull wieħed b'16-il talba permessa, jistgħu flimkien jaqbżu kwota maqsuma ta' 20. Aqsam il-baġit b'mod intenzjonat jew infurzaw limitu maqsum fejn dawn il-klijenti jiltaqgħu.

Stabbilixxi wkoll x'jghodd il-fornitur. It-talbiet HTTP, il-konnessjonijiet TCP miftuħa, il-mini attivi u t-talbiet fis-second huma kwantitajiet differenti. Il-konnessjonijiet persistenti u l-multiplexing jistgħu jagħmlu l-għadd tagħhom differenti. Għalhekk issettjar ta' konkorenza tat-talbiet mhuwiex limitu sħiħ tal-konnessjonijiet jew tar-rata.

Żomm it-temp tas-sit fil-mira bħala restrizzjoni separata. Konkorenza aktar baxxa jew dewmien fit-tniżżil jistgħu xorta jkunu xierqa għal destinazzjoni waħda anke meta l-kont tal-proxy jkollu kapaċità mhux użata.