Scrapy проксиінің бірнеше домен бойынша параллельдігі
Бірнеше мақсатты домен бір прокси квотасын жұмсағанда жүктеушінің ғаламдық параллельдік шегін қолданыңыз, содан кейін сол аккаунтты бөлісетін басқа crawler-лерді де ескеріңіз.
Егер әрбір межелі орын бір прокси аккаунтын қолданса, сол аккаунттың бір мезгілдегі сұрау рұқсаты сол межелі орындардың бәріне жұмсалуы мүмкін. Тек домен бойынша шектеу бұл ортақ бюджетті білдірмейді.
Ең көбі 20 бір мезгілдегі сұрауға рұқсат беретін болжамды аккаунт үшін біраз қор қалдырып, crawler-дің ғаламдық жүктеуші шегін орнатыңыз:
CONCURRENT_REQUESTS = 16Бұл иллюстративтік бөлу, әр провайдерге ұсынылатын мән емес. Scrapy CONCURRENT_REQUESTS-ті жүктеушінің ең көп бір мезгілдегі сұрау саны ретінде анықтайды. Домен бойынша басқару параллельдікті одан әрі азайта алады; олар ғаламдық жоғарғы шекті алмастырмайды.
Есепке басқа crawler-лерді де қосыңыз. Әрқайсысына 16 сұрау рұқсат етілген екі тәуелсіз crawler бірге 20-ның ортақ рұқсатынан асып кетуі мүмкін. Бюджетті әдейі бөліңіз немесе сол клиенттер тоғысатын жерде ортақ шек қолданыңыз.
Провайдердің нені санайтынын да анықтаңыз. HTTP сұраулары, ашық TCP қосылымдары, белсенді туннельдер және секундына сұраулар — бұлар әртүрлі шамалар. Тұрақты қосылымдар мен мультиплекстеу олардың сандарын бөлектеуі мүмкін. Сондықтан сұрау параллельдігі параметрі қосылымдардың немесе жылдамдықтың толық шектеушісі емес.
Мақсатты сайттың қарқынын жеке шектеу ретінде ұстаңыз. Прокси аккаунтында пайдаланылмаған қуат болса да, жекелеген межелі орын үшін төменірек параллельдік немесе жүктеу кідірісі орынды болуы мүмкін.