Паралелност на Scrapy прокси низ повеќе домени
Користете го глобалниот лимит на паралелност на преземачот кога повеќе целни домени трошат иста прокси квота, а потоа земете ги предвид и другите crawler-и што го делат тој профил.
Ако секое одредиште користи еден прокси профил, дозволата за истовремени барања на тој профил може да се потроши низ сите тие одредишта. Ограничувањето само по домен не го изразува тој заеднички буџет.
За хипотетички профил што дозволува најмногу 20 истовремени барања, оставете малку простор и поставете го глобалниот лимит на преземачот на crawler-от:
CONCURRENT_REQUESTS = 16Ова е илустративна распределба, а не препорачана вредност за секој давател на услуги. Scrapy го дефинира CONCURRENT_REQUESTS како максимален број истовремени барања на преземачот. Контролите по домен можат дополнително да ја намалат паралелноста; тие не го заменуваат глобалниот горен лимит.
Вклучете ги и другите crawler-и во пресметката. Два независни crawler-и, секој со дозволени 16 барања, заедно можат да ја надминат заедничката дозвола од 20. Намерно поделете го буџетот или воспоставете заедничко ограничување таму каде што се среќаваат тие клиенти.
Утврдете и што брои давателот. HTTP барањата, отворените TCP врски, активните тунели и барањата во секунда се различни величини. Постојаните врски и мултиплексирањето можат да ги разделат нивните броеви. Затоа поставката за паралелност на барања не е целосен ограничувач на врски или на брзина.
Задржете го темпото на целниот сајт како посебно ограничување. Помала паралелност или доцнење при преземање може сè уште да биде соодветно за поединечно одредиште дури и кога прокси профилот има неискористен капацитет.