Scrapy proxyaren konkurrentzia domeinu anitzetan
Erabili deskargatzailearen konkurrentzia-muga orokorra hainbat helburu-domeinuk proxy-kuota bera kontsumitzen dutenean, eta kontuan hartu kontu hori partekatzen duten beste crawler batzuk ere.
Helburu bakoitzak proxy-kontu bakarra erabiltzen badu, kontu horren aldi bereko eskaeren baimena helburu guztietan zehar ager daiteke. Domeinuko muga bakarrik ez da nahikoa partekatutako aurrekontu hori adierazteko.
Gehienez 20 aldi bereko eskaera onartzen dituen kontu hipotetiko baterako, utzi tarte bat eta ezarri crawlerraren deskargatzailearen muga orokorra:
CONCURRENT_REQUESTS = 16Hau adibide bat da, ez da hornitzaile guztientzako gomendatutako balioa. Scrapy-k CONCURRENT_REQUESTS deskargatzailearen aldi bereko eskaera kopuru handiena gisa definitzen du. Domeinuko kontrolak konkurrentzia gehiago murrizten dezake; ez dute goiko muga orokorra ordezkatzen.
Sartu beste crawlerrak kalkuluan. 16 eskaera baimenduta dituzten bi crawler independentek elkarrekin 20ko baimen partekatua gaindi dezakete. Banatu aurrekontua nahita edo ezarri muga partekatua bezero horiek bat egiten duten tokian.
Zehaztu hornitzaileak zer zenbatzen duen ere. HTTP eskaerak, TCP konexio irekiak, tunel aktiboak eta segundoko eskaerak kantitate desberdinak dira. Konexio iraunkorrek eta multiplexazioak haien kopuruak desberdin ditzakete. Beraz, eskaeren konkurrentzia-ezarpena ez da konexioen edo erritmoaren muga osoa.
Mantendu helburuko gunearen erritmoa muga bereizi gisa. Konkurrentzia txikiagoa edo deskarga-atzerapena egokiak izan daitezke helburu jakin baterako, proxy-kontuak erabili gabeko ahalmena izan arren.