Scrapy AutoThrottle kroz proxy: slotovi i latencija
Držite slotove za preuzimanje ciljnog web-mjesta odvojeno od proxy ruta i tumačite latenciju kao uočenu putanju zahtjeva.
Scrapy prema zadanim postavkama dodjeljuje slotove za preuzimanje prema domeni URL-a zahtjeva. Dodela HTTP proxyja zahtjevu ne pretvara taj URL u naziv hosta proxyja. Zahtjevi prema različitim web-mjestima stoga mogu zadržati različite slotove dok dijele jednog posrednika.
AutoThrottle prilagođava kašnjenje svakog slota prema uočenoj latenciji preuzimanja. Standardno ograničenje paralelnosti po domeni i minimalno kašnjenje preuzimanja i dalje vrijede.
Provjerite grupiranje prije promjene algoritma
Prilagođeni middleware može dodijeliti request.meta["download_slot"] i tako nadjačati uobičajeni odabir slota. Neka proxy proširenja koriste vlastito grupiranje. Provjerite te postavke ako se čini da nepovezana web-mjesta dijele jedno ograničenje.
Suprotno tome, dodjela različitog slota za svaki proxy može omogućiti više proxyja da istovremeno kontaktiraju isti cilj. To može poništiti ograničenje na razini web-mjesta koje je crawler trebao poštovati. Odaberite ključ slota prema resursu koji se štiti.
Kašnjenje uključuje putanju koju ste koristili
Scrapy mjeri latenciju od slanja zahtjeva do primanja HTTP zaglavlja. Zahtjev koji prolazi kroz proxy može u to opažanje uključiti kašnjenje posrednika u redu i prosljeđivanju. AutoThrottle ne dobiva zasebno vrijeme obrade samo izvora.
Povećanje paralelnosti ne može natjerati to mjerenje da izolira web-mjesto. Držite pristojnost prema cilju i kapacitet proxyja kao odvojena ograničenja kada su oba važna. Dijeljeni proxy može trebati dodatni proračun paralelnosti kroz slotove ciljeva, dok svaki cilj zadržava vlastitu politiku brzine.