Scrapy AutoThrottle преку прокси: слотови и латентност
Држете ги слотовите за преземање на целната страница одвоени од прокси рутите и толкувајте ја латентноста како забележаната патека на барањето.
Стандардно, Scrapy доделува слотови за преземање според доменот на URL-то на барањето. Доделувањето HTTP прокси на барањето не го претвора тоа URL во името на домаќинот на проксито. Затоа барањата до различни страници можат да задржат различни слотови додека делат еден посредник.
AutoThrottle го прилагодува доцнењето на секој слот според забележаната латентност на преземање. Стандардната граница на паралелност по домен и минималното доцнење на преземање сè уште важат.
Проверете го групирањето пред да го промените алгоритмот
Прилагоден middleware може да додели request.meta["download_slot"], со што го надминува вообичаениот избор на слот. Некои прокси екстензии користат сопствено групирање. Проверете ги тие поставки ако изгледа дека неповрзани страници делат еден ограничувач.
Обратно, доделувањето различен слот за секое прокси може да дозволи повеќе проксија истовремено да контактираат со истата цел. Тоа може да го наруши ограничувањето за целата страница што crawler-от требаше да го почитува. Изберете го клучот на слотот според ресурсот што се штити.
Доцнењето ја вклучува патеката што сте ја користеле
Scrapy ја мери латентноста од испраќањето на барањето до примањето на HTTP заглавијата. Барање пренесено преку прокси може да го вклучи во тоа набљудување доцнењето на посредникот во редот и препраќањето. AutoThrottle не добива одделно време на обработка само на изворот.
Зголемувањето на паралелноста не може да направи тоа мерење да ја изолира страницата. Држете ја учтивоста кон целта и капацитетот на проксито како одделни граници кога двете се важни. Споделено прокси може да бара дополнителен буџет за паралелност низ слотовите на целите, додека секоја цел ја задржува својата политика на брзина.