Scrapy AutoThrottle per proxy: lizdai ir delsos laikas
Laikykite tikslinės svetainės atsisiuntimo lizdus atskirai nuo proxy maršrutų ir aiškinkite delsą kaip stebėtą užklausos kelią.
Pagal numatytuosius nustatymus Scrapy priskiria atsisiuntimo lizdus pagal užklausos URL domeną. HTTP proxy priskyrimas užklausai nepaverčia to URL proxy hostingo vardu. Todėl užklausos į skirtingas svetaines gali išlaikyti skirtingus lizdus, dalydamosi vienu tarpininku.
AutoThrottle koreguoja kiekvieno lizdo delsą pagal stebėtą atsisiuntimo delsą. Standartinis domeno lygiagretumo limitas ir minimali atsisiuntimo delsa tebegalioja.
Patikrinkite grupavimą prieš keisdami algoritmą
Pasirinktinė tarpinė programinė įranga gali priskirti request.meta["download_slot"] ir taip pakeisti įprastą lizdo pasirinkimą. Kai kurie proxy plėtiniai naudoja savo grupavimą. Patikrinkite tuos nustatymus, jei atrodo, kad nesusijusios svetainės dalijasi vienu ribotuvu.
Priešingai, skirtingo lizdo priskyrimas kiekvienam proxy gali leisti keliems proxy vienu metu susisiekti su tuo pačiu tikslu. Tai gali pakenkti visos svetainės limitui, kurį robotas turėjo gerbti. Lizdo raktą rinkitės pagal saugomą išteklių.
Delsa apima kelią, kurį naudojote
Scrapy matuoja delsą nuo užklausos išsiuntimo iki HTTP antraščių gavimo. Užklausa, perduodama per proxy, gali įtraukti į šį stebėjimą tarpininko eilės ir persiuntimo delsą. AutoThrottle negauna atskiro tik kilmės apdorojimo laiko.
Lygiagretumo didinimas negali priversti to matavimo izoliuoti svetainės. Laikykite mandagumą tikslui ir proxy pajėgumą atskirais limitu, kai abu svarbūs. Bendras proxy gali prireikti papildomo lygiagretumo biudžeto tikslo lizduose, o kiekvienas tikslas išlaiko savo spartos politiką.