Scrapy-Proxy-Parallelitéit iwwer méi Domainen
Benotzt déi global Parallelitéitsgrenz vum Downloader, wann méi Zildomaine déi selwecht Proxyquot verbrauchen, a rechent och aner Crawleren mat, déi dat selwecht Kont deelen.
Wann all Destinatioun een eenzegen Proxykont benotzt, kann d'Kontingent fir gläichzäiteg Ufroen vun dësem Kont iwwer all dës Destinatiounen opgebraucht ginn. Eng Grenz pro Domain eleng dréckt dëse gemeinsame Budget net aus.
Fir en hypothetesche Kont, deen héchstens 20 gläichzäiteg Ufroen erlaabt, loosst e bëssen Plaz fräi a setzt déi global Downloader-Grenz vum Crawler:
CONCURRENT_REQUESTS = 16Dëst ass eng illustrativ Verdeelung, keen empfohlene Wäert fir all Provider. Scrapy definéiert CONCURRENT_REQUESTS als dem Downloader seng maximal Zuel vu gläichzäitegen Ufroen. Kontrollen pro Domain kënnen d'Parallelitéit nach weider reduzéieren; si ersetzen awer net déi global iewescht Grenz.
Huelt aner Crawleren an d'Rechnung mat. Zwee onofhängeg Crawleren, jidderee mat 16 erlaabten Ufroen, kënnen zesummen eng gedeelt Erlaabnes vun 20 iwwerschreiden. Deelt de Budget bewosst oder setzt eng gemeinsam Grenz do, wou dës Cliente sech treffen.
Bestëmmt och, wat de Provider zielt. HTTP-Ufroen, oppe TCP-Verbindungen, aktiv Tunnellen a Ufroen pro Sekonn sinn ënnerschiddlech Gréissten. Dauerhaft Verbindungen a Multiplexing kënnen hir Zuele verschidden maachen. Dofir ass eng Astellung fir Ufroparallelitéit keen vollstännege Verbindungs- oder Tauxbegrenzer.
Hält den Tempo vun der Zilsäit als eng separat Aschränkung. Eng méi niddreg Parallelitéit oder eng Download-Verzögerung kann fir eng eenzel Destinatioun nach ëmmer passend sinn, och wann de Proxykont onbenotzt Kapazitéit huet.