Scrapy AutoThrottle permezz ta' proxy: slots u latenza
Żomm is-slots tat-tniżżil tas-sit fil-mira separati mill-mogħdijiet tal-proxy u interpreta l-latenza bħala l-mogħdija tat-talba osservata.
B'mod awtomatiku, Scrapy jaqsam is-slots tat-tniżżil skont id-dominju tal-URL tat-talba. L-għoti ta' proxy HTTP lit-talba ma jibdilx dak l-URL għall-isem tal-host tal-proxy. Għalhekk it-talbiet lejn siti differenti jistgħu jżommu slots differenti filwaqt li jaqsmu intermedjarju wieħed.
AutoThrottle jaġġusta d-dewmien ta' kull slot bl-użu tal-latenza tat-tniżżil osservata. Il-limitu standard ta' konkorenza għal kull dominju u d-dewmien minimu tat-tniżżil għadhom japplikaw.
Iċċekkja l-ġbir qabel ma tibdel l-algoritmu
Middleware personalizzat jista' jassenja request.meta["download_slot"], u b'hekk jaqbeż l-għażla normali tas-slot. Xi estensjonijiet tal-proxy jużaw il-ġbir tagħhom stess. Iċċekkja dawk is-settings jekk siti mhux relatati jidhru li jaqsmu limitu wieħed.
Bil-maqlub, l-assenjazzjoni ta' slot differenti għal kull proxy tista' tħalli diversi proxies jikkuntattjaw l-istess mira fl-istess ħin. Dan jista' jxejjen limitu madwar is-sit kollu li l-crawler kellu jirrispetta. Agħżel iċ-ċavetta tas-slot skont ir-riżors li qed jiġi protett.
Id-dewmien jinkludi l-mogħdija li użajt
Scrapy ikejjel il-latenza mill-bgħit tat-talba sal-wasla tal-headers HTTP. Talba li tgħaddi minn proxy tista' tinkludi f'dik l-osservazzjoni d-dewmien tal-ġbir u l-ipproċessar mill-ġdid tal-intermedjarju. AutoThrottle ma jiksibx ħin ta' pproċessar separat tal-oriġini biss.
Iż-żieda tal-konkorenza ma tistax tagħmel dik il-kejl tiżola s-sit. Żomm il-kortesija lejn il-mira u l-kapaċità tal-proxy bħala limiti separati meta t-tnejn huma importanti. Proxy kondiviż jista' jkollu bżonn baġit ta' konkorenza addizzjonali madwar is-slots tal-miri, filwaqt li kull mira żżomm il-politika tar-rata tagħha.