Paralelnost Scrapy proxyja na više domena
Koristite globalno ograničenje paralelnosti preuzimača kada više ciljnih domena troši istu proxy kvotu, a zatim uzmite u obzir i druge crawlere koji dijele taj račun.
Ako svako odredište koristi jedan proxy račun, dopuštenje istovremenih zahtjeva tog računa može se potrošiti na svim tim odredištima. Ograničenje samo po domeni ne izražava taj zajednički proračun.
Za hipotetski račun koji dopušta najviše 20 istovremenih zahtjeva, ostavite malo prostora i postavite globalno ograničenje preuzimača crawlera:
CONCURRENT_REQUESTS = 16Ovo je ilustrativna raspodjela, a ne preporučena vrijednost za svakog pružatelja usluge. Scrapy definira CONCURRENT_REQUESTS kao najveći broj istovremenih zahtjeva preuzimača. Kontrole po domeni mogu dodatno smanjiti paralelnost; ne zamjenjuju globalni gornji limit.
Uključite i druge crawlere u izračun. Dva neovisna crawlera, svaki s dopuštenih 16 zahtjeva, mogu zajedno premašiti zajedničko dopuštenje od 20. Namjerno podijelite proračun ili uspostavite zajedničko ograničenje tamo gdje se ti klijenti spajaju.
Utvrdite i što pružatelj broji. HTTP zahtjevi, otvorene TCP veze, aktivni tuneli i zahtjevi u sekundi različite su veličine. Trajne veze i multipleksiranje mogu razdvojiti njihove brojeve. Zato postavka paralelnosti zahtjeva nije potpuni ograničavač veza ni brzine.
Držite tempo ciljnog web-mjesta kao zasebno ograničenje. Manja paralelnost ili kašnjenje preuzimanja i dalje može biti primjereno za pojedinačno odredište čak i kada proxy račun ima neiskorišten kapacitet.