Scrapy проксинин бир нече домен боюнча параллелдүүлүгү
Бир нече максаттуу домен бир прокси квотасын сарптаганда жүктөөчүнүн глобалдык параллелдүүлүк чегин колдонуңуз, анан ошол эсептин ээсин бөлүшкөн башка crawler-лерди эске алыңыз.
Эгер ар бир багыт бир прокси эсебин колдонсо, ал эсептин бир убакыттагы суроо уруксаты ошол бардык багыттарга сарпталышы мүмкүн. Домен боюнча гана чектөө бул жалпы бюджетти билдирбейт.
Эң көбү 20 бир убакыттагы суроого уруксат берген гипотетикалык эсеп үчүн бир аз камсыздык калтырып, crawler-дин глобалдык жүктөөчү чегин коюңуз:
CONCURRENT_REQUESTS = 16Бул иллюстративдик бөлүштүрүү, ар бир провайдер үчүн сунушталган маани эмес. Scrapy CONCURRENT_REQUESTSти жүктөөчүнүн бир убакыттагы суроолорунун максималдуу саны катары аныктайт. Домен боюнча башкаруу параллелдүүлүктү дагы азайта алат; алар глобалдык жогорку чекти алмаштырбайт.
Эсепке башка crawler-лерди да кошуңуз. Ар бирине 16 суроо уруксат берилген эки көз карандысыз crawler чогуу 20нын жалпы уруксатынан ашып кетиши мүмкүн. Бюджетти атайын бөлүңүз же ошол кардарлар кезиккен жерде жалпы чек колдонуңуз.
Провайдер эмнени санаарын да аныктаңыз. HTTP суроолору, ачык TCP туташуулар, активдүү туннелдер жана секундасына суроолор ар башка чоңдуктар. Туруктуу туташуулар жана мультиплекстөө алардын сандарын бөлүп салышы мүмкүн. Ошондуктан суроо параллелдүүлүгүнүн жөндөөсү туташуунун же ылдамдыктын толук чектегичи эмес.
Максаттуу сайттын ыргагын өзүнчө чектөө катары кармаңыз. Прокси эсебинде колдонулбаган кубат болсо да, өзүнчө багыт үчүн төмөнүрөөк параллелдүүлүк же жүктөө кечигүү ылайыктуу болушу мүмкүн.