Scrapy AutoThrottle кроз прокси: слотови и латенција
Држите слотове за преузимање циљног сајта одвојено од прокси рута и тумачите латенцију као уочену путању захтева.
Scrapy подразумевано додељује слотове за преузимање према домену URL-а захтева. Додела HTTP проксија захтеву не претвара тај URL у име хоста проксија. Захтеви ка различитим сајтовима зато могу задржати различите слотове док деле једног посредника.
AutoThrottle прилагођава кашњење сваког слота према уоченој латенцији преузимања. Стандардно ограничење паралелности по домену и минимално кашњење преузимања и даље важе.
Проверите груписање пре промене алгоритма
Прилагођени middleware може доделити request.meta["download_slot"] и тиме надјачати уобичајени избор слота. Нека прокси проширења користе сопствено груписање. Проверите та подешавања ако се чини да неповезани сајтови деле једно ограничење.
Супротно томе, додела различитог слота за сваки прокси може омогућити више проксија да истовремено контактирају исти циљ. То може поништити ограничење на нивоу сајта које је crawler требало да поштује. Изаберите кључ слота према ресурсу који се штити.
Кашњење укључује путању коју сте користили
Scrapy мери латенцију од слања захтева до примања HTTP заглавља. Захтев који пролази кроз прокси може у то запажање укључити кашњење посредника у реду и прослеђивању. AutoThrottle не добија засебно време обраде само извора.
Повећање паралелности не може натерати то мерење да изолује сајт. Држите пристојност према циљу и капацитет проксија као одвојена ограничења када су оба важна. Дељени прокси може захтевати додатни буџет паралелности кроз слотове циљева, док сваки циљ задржава сопствену политику брзине.