Scrapy proksisining bir nechta domenlardagi parallelligi
Bir nechta maqsadli domen bir xil proksi kvotasini iste'mol qilganda yuklovchining global parallellik chegarasidan foydalaning, so'ngra o'sha akkauntni bo'lishadigan boshqa crawlerlarni ham hisobga oling.
Agar har bir manzil bitta proksi akkauntidan foydalansa, o'sha akkauntning bir vaqtdagi so'rovlar ruxsati barcha bu manzillarda sarflanishi mumkin. Faqat domen bo'yicha chegara bu umumiy byudjetni ifodalamaydi.
Ko'pi bilan 20 bir vaqtdagi so'rovga ruxsat beruvchi faraziy akkaunt uchun biroz joy qoldirib, crawlerning global yuklovchi chegarasini belgilang:
CONCURRENT_REQUESTS = 16Bu illyustrativ taqsimot, har bir provayder uchun tavsiya etilgan qiymat emas. Scrapy CONCURRENT_REQUESTS ni yuklovchining eng ko'p bir vaqtdagi so'rovlar soni deb belgilaydi. Domen bo'yicha boshqaruv parallellikni yanada kamaytirishi mumkin; ular global yuqori chegarani almashtirmaydi.
Hisobga boshqa crawlerlarni ham qo'shing. Har biriga 16 so'rov ruxsat etilgan ikkita mustaqil crawler birgalikda 20 lik umumiy ruxsatdan oshib ketishi mumkin. Byudjetni ataylab bo'ling yoki o'sha mijozlar uchrashadigan joyda umumiy chegara o'rnating.
Provayder nima hisoblashini ham aniqlang. HTTP so'rovlari, ochiq TCP ulanishlari, faol tunnellar va soniyadagi so'rovlar turlicha kattaliklar. Doimiy ulanishlar va multiplekslash ularning sonlarini farqlashi mumkin. Shuning uchun so'rov parallelligi sozlamasi to'liq ulanish yoki tezlik chegaralovchisi emas.
Maqsadli sayt sur'atini alohida cheklov sifatida saqlang. Proksi akkauntida foydalanilmagan quvvat bo'lsa ham, alohida manzil uchun pastroq parallellik yoki yuklash kechikishi o'rinli bo'lishi mumkin.