Scrapy AutoThrottle gjøgnum proxy: slot og seinking
Halt tíðindasíðuna sínar niðurhalsslott atskild frá proxy-leiðum og tulka seinking sum tann sædda fyrispurningarleiðin.
Sum standard setur Scrapy niðurhalsslott út frá økini í fyrispurninginum URL. At geva einum fyrispurningi eitt HTTP-proxy broytir ikki tað URL'ið til hostnavnið á proxynum. Tí kunnu fyrispurningar til ymiskar síður varðveita ymisk slot, meðan tær deila einum millumgongara.
AutoThrottle stillir seinkingina á hvørjum slotti eftir tí sæddu niðurhalsseinking. Standard markið fyri samsvarandi koyring á hvørjum øki og minsta niðurhalsseinking galda framvegis.
Kanna bólkingina áðrenn tú broytir algoritmuna
Ein serstakur millumvegur kann seta request.meta["download_slot"] og yvirkoyra vanliga slot-val. Nøkur proxy-ítøk brúka sína egnu bólking. Kanna hesar stillingarnar, um ótengdar síður tykjast deila einum avmarkara.
Hinvegin kann at seta eitt annað slot fyri hvørt proxy gera fleiri proxy førar fyri at seta í samband við sama mál í senn. Tað kann spilla eitt markið fyri alla síðuna, sum crawlerurin átti at virða. Vel slotlykilin eftir tí tilfeinginum, sum verður vart.
Seinkingin hevur við sær leiðina, sum tú brúkti
Scrapy málist seinkingina frá tí at fyrispurningurin verður sendur til tá HTTP-høvur verða móttikin. Ein fyrispurningur, sum verður borin gjøgnum eitt proxy, kann hava biðirøð og framsendingarseinking millumgongarans við í tí sæddu. AutoThrottle fær ikki eina serstaka viðgerðartíð bara frá uppruna.
At økja samsvarandi koyring kann ikki fáa mátingina at einangra síðuna. Halt málinum afturhaldssemi og proxy-kapasitet sum atskild mark, tá bæði hava týdning. Eitt deilt proxy kann tørva eyka koyringarveiting yvir málslot, meðan hvørt mál varðveitir sína egna ferðarpolitikk.