Scrapy proxy paralelumas keliose srityse
Naudokite visuotinę siuntimo programos paralelumo ribą, kai keli tiksliniai domenai naudoja tą pačią proxy kvotą, tada atsižvelkite ir į kitus crawlerius, bendrinančius tą paskyrą.
Jei kiekviena paskirties vieta naudoja vieną proxy paskyrą, tos paskyros vienalaikių užklausų leidimas gali būti išnaudotas visose tose vietose. Vien tik domeno riba neišreiškia šio bendro biudžeto.
Hipotetinei paskyrai, leidžiančiai daugiausiai 20 vienalaikių užklausų, palikite šiek tiek rezervo ir nustatykite visuotinę crawlerio siuntimo programos ribą:
CONCURRENT_REQUESTS = 16Tai iliustracinis paskirstymas, o ne rekomenduojama vertė kiekvienam teikėjui. Scrapy apibrėžia CONCURRENT_REQUESTS kaip didžiausią siuntimo programos vienalaikių užklausų skaičių. Domeno lygmens valdikliai gali dar labiau sumažinti paralelumą; jie nepakeičia visuotinės viršutinės ribos.
Į skaičiavimą įtraukite ir kitus crawlerius. Du nepriklausomi crawleriai, kurių kiekvienam leidžiama 16 užklausų, kartu gali viršyti bendrą 20 leidimą. Sąmoningai padalinkite biudžetą arba taikykite bendrą ribą ten, kur šie klientai susitinka.
Taip pat nustatykite, ką teikėjas skaičiuoja. HTTP užklausos, atviros TCP jungtys, aktyvūs tuneliai ir užklausos per sekundę yra skirtingi dydžiai. Nuolatinės jungtys ir multipleksavimas gali išskirti jų skaičius. Todėl užklausų paralelumo nustatymas nėra visiškas jungčių ar spartos ribotuvas.
Išlaikykite tikslinės svetainės tempą kaip atskirą apribojimą. Mažesnis paralelumas ar siuntimo delsa gali vis dar tikti atskirai vietai net tada, kai proxy paskyra turi nepanaudotų pajėgumų.