Scrapy proxy'sinde birden çok alan adı arasında eşzamanlılık
Birkaç hedef alan adı aynı proxy kotasını tükettiğinde indiricinin genel eşzamanlılık sınırını kullanın, ardından aynı hesabı paylaşan diğer tarayıcıları da hesaba katın.
Her hedef tek bir proxy hesabı kullanıyorsa, o hesabın eşzamanlı istek kotası tüm bu hedefler arasında tüketilebilir. Yalnızca alan adı başına bir sınır bu ortak bütçeyi ifade etmez.
En fazla 20 eşzamanlı isteğe izin veren varsayımsal bir hesap için biraz pay bırakın ve tarayıcının genel indirici sınırını ayarlayın:
CONCURRENT_REQUESTS = 16Bu örnek bir dağıtımdır, her sağlayıcı için önerilen bir değer değildir. Scrapy, CONCURRENT_REQUESTS değerini indiricinin en fazla eşzamanlı istek sayısı olarak tanımlar. Alan adı başına denetimler eşzamanlılığı daha da düşürebilir; genel tavanın yerini almazlar.
Diğer tarayıcıları da hesaba katın. Her birine 16 istek izni verilen iki bağımsız tarayıcı birlikte 20'lik ortak kotayı aşabilir. Bütçeyi bilerek bölün ya da bu istemcilerin buluştuğu yerde ortak bir sınır uygulayın.
Ayrıca sağlayıcının neyi saydığını belirleyin. HTTP istekleri, açık TCP bağlantıları, etkin tüneller ve saniyedeki istekler farklı büyüklüklerdir. Kalıcı bağlantılar ve çoklama sayılarını farklılaştırabilir. Bu nedenle istek eşzamanlılığı ayarı tam bir bağlantı ya da hız sınırlayıcı değildir.
Hedef sitenin temposunu ayrı bir kısıt olarak koruyun. Proxy hesabında kullanılmayan kapasite olsa bile tek bir hedef için daha düşük eşzamanlılık veya indirme gecikmesi hâlâ uygun olabilir.