Concurrència del proxy de Scrapy en diversos dominis

Si cada destinació fa servir un sol compte de proxy, el permís de sol·licituds simultànies d'aquest compte es pot consumir entre totes aquestes destinacions. Un límit per domini, tot sol, no expressa aquest pressupost compartit.

Per a un compte hipotètic que permet com a màxim 20 sol·licituds simultànies, reserveu una mica de marge i fixeu el límit global del descarregador del rastrejador:

CONCURRENT_REQUESTS = 16

Aquesta és una assignació il·lustrativa, no un valor recomanat per a tots els proveïdors. Scrapy defineix CONCURRENT_REQUESTS com el nombre màxim de sol·licituds simultànies del descarregador. Els controls per domini poden reduir encara més la concurrència; no substitueixen el sostre global.

Incloeu els altres rastrejadors en el càlcul. Dos rastrejadors independents amb 16 sol·licituds cadascun poden superar junts un permís compartit de 20. Dividiu el pressupost deliberadament o apliqueu un límit compartit on convergeixin aquests clients.

Establiu també què compta el proveïdor. Les sol·licituds HTTP, les connexions TCP obertes, els túnels actius i les sol·licituds per segon són quantitats diferents. Les connexions persistents i el multiplexatge poden fer divergir els seus recomptes. Per tant, un paràmetre de concurrència de sol·licituds no és un limitador complet de connexions ni de ritme.

Manteniu el ritme del lloc objectiu com una restricció a part. Una concurrència més baixa o un retard de descàrrega poden seguir sent adequats per a una destinació concreta fins i tot quan el compte de proxy té capacitat sense utilitzar.