Scrapy AutoThrottle iwwer e Proxy: Slots a Latenz
Halt d'Downloadslots vun der Zilsäit getrennt vun de Proxy-Routen an interpretéier d'Latenz als déi observéiert Ufro-Streck.
Standardméisseg vergëtt Scrapy Downloadslots op Basis vun der Domain vun der Ufro-URL. Engem Request en HTTP-Proxy ze ginn ännert déi URL net an den Hostnumm vum Proxy. Ufroen un ënnerschiddlech Säiten kënnen dowéinst ënnerschiddlech Slots behalen, während si ee Vermëttler deelen.
AutoThrottle passt d'Verzögerung vun all Slot unhand vun der observéierter Downloadlatenz un. Dat üblecht Limit vun der Gläichzäitegkeet pro Domain an déi minimal Downloadverzögerung gëllen nach ëmmer.
Iwwerpréift d'Gruppéierung, ier Dir den Algorithmus ännert
E personaliséierte Middleware kann request.meta["download_slot"] zouweise wat déi normal Slot-Auswiel iwwerschreift. E puer Proxy-Erweiderunge benotzen hir eege Gruppéierung. Kuckt déi Astellungen, wann onverbonne Säiten ee Limit-Tool ze deelen schéngen.
Ëmgedréit kann engem anere Slot pro Proxy et méi Proxye erlaben, gläichzäiteg dat selwecht Zil ze kontaktéieren. Dat kann e Limit iwwer déi ganz Säit ënnergruewen, dat de Crawler hätt solle respektéieren. Wielt de Slot-Schlëssel no der Ressource, déi geschützt gëtt.
D'Verzögerung enthält de Wee, deen Dir benotzt hutt
Scrapy misst d'Latenz vum Schécke vun der Ufro bis zum Empfang vun den HTTP-Headeren. Eng Ufro iwwer e Proxy kann d'Queue- an d'Weiderleeschtungsverzögerung vum Vermëttler an där Observatioun enthalen. AutoThrottle kritt keng separat Veraarbechtungszäit just vum Urspronk.
Méi Gläichzäitegkeet kann net dofir suergen, datt dës Miessung d'Säit isoléiert. Halt d'Frëndlechkeet zum Zil an d'Kapazitéit vum Proxy als getrennt Limiten, wann béides wichteg ass. E gedeelte Proxy brauch vläicht e zousätzlecht Gläichzäitegkeetsbudget iwwer d'Zilslots, während all Zil seng eege Tarifpolitik bäihält.