Scrapy puhverserveri paralleelsus mitme domeeni lõikes
Kasutage allalaadija üldist paralleelsuse ülempiiri, kui mitu sihtdomeeni tarbivad sama puhverserveri kvooti, ja arvestage ka teiste roomajatega, kes seda kontot jagavad.
Kui iga sihtkoht kasutab ühte puhverserveri kontot, võib selle konto samaaegsete päringute luba kuluda kõigi nende sihtkohtade peale. Ainult domeenipõhine piirang ei väljenda seda ühist eelarvet.
Hüpoteetilise konto puhul, mis lubab ülimalt 20 samaaegset päringut, jätke veidi varu ja määrake roomaja üldine allalaadija piirang:
CONCURRENT_REQUESTS = 16See on näitlik jaotus, mitte kõigile teenusepakkujatele soovitatav väärtus. Scrapy määratleb CONCURRENT_REQUESTS allalaadija suurima samaaegsete päringute arvuna. Domeenipõhised juhtimised võivad paralleelsust veelgi vähendada; need ei asenda üldist ülempiiri.
Kaasake arvutusse ka teised roomajad. Kaks sõltumatut roomajat, kummalegi 16 päringut lubatud, võivad koos ületada ühist luba 20. Jagage eelarve teadlikult või kehtestage ühine piirang kohas, kus need kliendid kokku saavad.
Tehke kindlaks ka see, mida teenusepakkuja loeb. HTTP-päringud, avatud TCP-ühendused, aktiivsed tunnelid ja päringud sekundis on erinevad suurused. Püsivad ühendused ja multipleksimine võivad nende arvud lahku viia. Seetõttu ei ole päringute paralleelsuse säte täielik ühenduste ega kiiruse piiraja.
Hoidke sihtsaidi tempot eraldi piiranguna. Väiksem paralleelsus või allalaadimise viivitus võib üksiku sihtkoha jaoks endiselt sobida ka siis, kui puhverserveri kontol on kasutamata võimsust.