Scrapy AutoThrottle proxy baten bidez: zirrikituak eta latentzia
Mantendu helburuko gunearen deskarga-zirrikituak proxy-bideetatik bereizita, eta interpretatu latentzia behatutako eskaera-bide gisa.
Lehenespenez, Scrapy-k deskarga-zirrikituak eskaeraren URLaren domeinuaren arabera esleitzen ditu. Eskaera bati HTTP proxy bat emateak ez du URL hori proxyaren ostalari-izena bihurtzen. Beraz, gune ezberdinetarako eskaerek zirrikitu ezberdinak gorde ditzakete bitartekari bakarra partekatuz.
AutoThrottle-k zirrikitu bakoitzaren atzerapena doitzen du behatutako deskarga-latentzia erabiliz. Domeinu bakoitzerako ohiko konkurrentzia-muga eta gutxieneko deskarga-atzerapena oraindik aplikatzen dira.
Egiaztatu taldekatzea algoritmoa aldatu aurretik
Middleware pertsonalizatu batek request.meta["download_slot"] eslei dezake, ohiko zirrikitu-hautaketa gainidatziz. Proxy-luzapen batzuek beren taldekatzea erabiltzen dute. Aztertu ezarpen horiek erlazionatuta ez dauden guneek muga-jarraitzaile bakarra partekatzen badutela dirudi.
Aitzitik, proxy bakoitzeko zirrikitu ezberdin bat esleituz gero, proxy anitzek helburu bera aldi berean kontaktatu dezakete. Horrek crawler-ak errespetatu behar zuen gune osoko muga hautsi dezake. Aukeratu zirrikitu-gakoa babestutako baliabidearen arabera.
Atzerapenak erabili duzun bidea barne hartzen du
Scrapy-k eskaera bidaltzetik HTTP goiburuak jasotzera arteko latentzia neurtzen du. Proxy baten bidez garraiatutako eskaerak bitartekariaren ilara- eta birbidaltze-atzerapena sar dezake behaketa horretan. AutoThrottle-k ez du jatorriaren prozesatze-denbora bereizirik lortzen.
Konkurrentzia handitzeak ezin du neurketa hori gunea isolatzera behartu. Mantendu helburuaren adeitasuna eta proxyaren edukiera muga bereizi gisa biak garrantzitsuak direnean. Proxy partekatu batek helburu-zirrikituen arteko konkurrentzia-aurrekontu gehigarria behar izan dezake, eta helburu bakoitzak bere abiadura-politika gordetzen du.