Scrapy proksisi ilə bir neçə domen üzrə eyni vaxtlılıq
Bir neçə hədəf domen eyni proksi kvotasını istifadə etdikdə yükləyicinin qlobal eyni vaxtlılıq həddini tətbiq edin, sonra həmin hesabı paylaşan digər crawler-ləri də nəzərə alın.
Hər təyinat bir proksi hesabı istifadə edirsə, həmin hesabın eyni vaxtlı sorğu limiti bütün bu təyinatlar üzrə sərf oluna bilər. Yalnız domen üzrə limit bu ortaq büdcəni ifadə etmir.
Ən çoxu 20 eyni vaxtlı sorğuya icazə verən hipotetik hesab üçün bir qədər ehtiyat saxlayın və crawler-in qlobal yükləyici həddini təyin edin:
CONCURRENT_REQUESTS = 16Bu illüstrativ bölgüdür, hər provayder üçün tövsiyə olunan dəyər deyil. Scrapy CONCURRENT_REQUESTS-i yükləyicinin maksimum eyni vaxtlı sorğu sayı kimi müəyyən edir. Domen üzrə nəzarətlər eyni vaxtlılığı daha da azalda bilər; qlobal tavanı əvəz etmir.
Digər crawler-ləri də hesaba qatın. Hər birinə 16 sorğu icazəsi verilən iki müstəqil crawler birlikdə 20-lik ortaq limiti aşa bilər. Büdcəni qəsdən bölün və ya bu müştərilərin birləşdiyi yerdə ortaq hədd tətbiq edin.
Provayderin nəyi saydığını da müəyyənləşdirin. HTTP sorğuları, açıq TCP bağlantıları, aktiv tunellər və saniyədə sorğular fərqli kəmiyyətlərdir. Davamlı bağlantılar və multipleksləmə onların saylarını fərqləndirə bilər. Buna görə sorğu eyni vaxtlılığı parametri tam bağlantı və ya sürət limiti deyil.
Hədəf saytın tempi ayrı məhdudiyyət kimi saxlanmalıdır. Proksi hesabında istifadə olunmamış güc olsa belə, ayrıca təyinat üçün daha aşağı eyni vaxtlılıq və ya yükləmə gecikməsi hələ də məqsədəuyğun ola bilər.