Samhliða Scrapy milli léna um proxy
Notið almenna samhliðaþak niðurhalsins þegar mörg markléni eyða sama proxy-kvóta, og reiknið síðan með öðrum skriðurum sem deila sama reikningi.
Ef hvert áfangastaður notar einn proxy-reikning getur heimild samhliða beiðna þess reiknings eyðst á öllum þessum áfangastöðum. Takmörk á hvert lén eitt sér lýsa ekki þessu sameiginlegu fjárhagsáætlun.
Fyrir ímyndaðan reikning sem leyfir að hámarki 20 samhliða beiðnir skaltu halda smá svigrúmi og stilla almennt niðurhalstakmörk skriðursins:
CONCURRENT_REQUESTS = 16Þetta er skýringardæmi um skiptingu, ekki ráðlagt gildi fyrir alla þjónustuveitendur. Scrapy skilgreinir CONCURRENT_REQUESTS sem hámarksfjölda samhliða beiðna niðurhalsins. Stýring á hvert lén getur lækkað samhliða enn frekar; hún kemur ekki í stað almennu þaksins.
Reiknið aðra skriðura með. Tveir óháðir skriðurar, hvor með 16 leyfðar beiðnir, geta saman farið yfir sameiginlega heimild upp á 20. Skiptið fjárhagsáætluninni viljandi eða setjið sameiginlegt takmark þar sem þessir biðlar hittast.
Gerið einnig grein fyrir því hvað þjónustuveitandinn telur. HTTP-beiðnir, opnar TCP-tengingar, virk göng og beiðnir á sekúndu eru mismunandi stærðir. Varanlegar tengingar og margföldun geta gert talninguna ólíka. Stilling beiðnasamhliða er því ekki fullkomið takmark á tengingar eða hraða.
Haldið takti marksvæðisins sem sérstakri skorðu. Minni samhliða eða niðurhalstöf getur enn verið viðeigandi fyrir einn áfangastað þótt proxy-reikningurinn hafi ónotaða getu.