Scrapy proxy párhuzamosság több domainen át
Használja a letöltő globális párhuzamossági korlátját, amikor több cél-domain ugyanazt a proxykeretet fogyasztja, majd számoljon a fiókot megosztó más crawlerekkel is.
Ha minden cél egyetlen proxyfiókot használ, a fiók egyidejű kéréskerete az összes ilyen cél között elfogyhat. Az önmagában vett domainenkénti korlát nem fejezi ki ezt a közös büdzsét.
Egy legfeljebb 20 egyidejű kérést engedélyező hipotetikus fiók esetében tartson némi tartalékot, és állítsa be a crawler globális letöltőkorlátját:
CONCURRENT_REQUESTS = 16Ez szemléltető felosztás, nem minden szolgáltatónak ajánlott érték. A Scrapy a CONCURRENT_REQUESTS értéket a letöltő maximális egyidejű kérésszámaként definiálja. A domainenkénti szabályozás tovább csökkentheti a párhuzamosságot; nem helyettesíti a globális plafont.
Számítsa bele a többi crawlert is. Két független crawler, amelyek mindegyike 16 kérésre jogosult, együtt túlléphet egy 20-as közös kereten. Ossza fel a büdzsét szándékosan, vagy érvényesítsen közös korlátot ott, ahol ezek az ügyfelek találkoznak.
Azt is tisztázza, mit számol a szolgáltató. A HTTP-kérések, a nyitott TCP-kapcsolatok, az aktív alagutak és a másodpercenkénti kérések különböző mennyiségek. A tartós kapcsolatok és a multiplexelés eltérítheti a darabszámokat. A kéréspárhuzamosság beállítása ezért nem teljes kapcsolat- vagy sebességkorlát.
Tartsa a célsite tempóját külön korlátként. Alacsonyabb párhuzamosság vagy letöltési késleltetés továbbra is megfelelő lehet egy adott cél számára akkor is, ha a proxyfióknak van kihasználatlan kapacitása.