Concurrența proxy-ului Scrapy pe mai multe domenii
Folosiți limita globală de concurență a descărcătorului când mai multe domenii țintă consumă aceeași cotă de proxy, apoi luați în calcul și alți crawleri care împart contul.
Dacă fiecare destinație folosește un singur cont proxy, cota de cereri simultane a acelui cont poate fi consumată pe toate acele destinații. O limită doar pe domeniu nu exprimă acest buget comun.
Pentru un cont ipotetic care permite cel mult 20 de cereri simultane, păstrați puțin spațiu liber și setați limita globală a descărcătorului crawlerului:
CONCURRENT_REQUESTS = 16Aceasta este o repartizare ilustrativă, nu o valoare recomandată pentru fiecare furnizor. Scrapy definește CONCURRENT_REQUESTS ca numărul maxim de cereri simultane al descărcătorului. Controalele pe domeniu pot reduce și mai mult concurența; ele nu înlocuiesc plafonul global.
Includeți și alți crawleri în calcul. Doi crawleri independenți, fiecare cu 16 cereri permise, pot depăși împreună o cotă comună de 20. Împărțiți bugetul deliberat sau impuneți o limită comună acolo unde acei clienți se întâlnesc.
Stabiliți și ce numără furnizorul. Cererile HTTP, conexiunile TCP deschise, tunelurile active și cererile pe secundă sunt mărimi diferite. Conexiunile persistente și multiplexarea pot face ca numărătorile să difere. De aceea, o setare de concurență a cererilor nu este un limitator complet de conexiuni sau de rată.
Păstrați ritmul site-ului țintă ca o constrângere separată. O concurență mai mică sau o întârziere la descărcare pot rămâne potrivite pentru o destinație individuală chiar și când contul proxy are capacitate nefolosită.