Scrapy AutoThrottle sa pamamagitan ng proxy: mga slot at latency
Paghiwalayin ang mga download slot ng target na site mula sa mga ruta ng proxy at bigyang-kahulugan ang latency bilang ang naobserbahang landas ng kahilingan.
Bilang default, naglalaan ang Scrapy ng mga download slot batay sa domain ng URL ng kahilingan. Ang pagbibigay ng HTTP proxy sa isang kahilingan ay hindi ginagawang hostname ng proxy ang URL na iyon. Kaya ang mga kahilingan sa magkaibang site ay maaaring magpanatili ng magkaibang slot habang nagbabahagi ng isang tagapamagitan.
Inaayos ng AutoThrottle ang pagkaantala ng bawat slot gamit ang naobserbahang latency ng pag-download. Nalalapat pa rin ang karaniwang limitasyon ng sabay-sabay na paggana bawat domain at ang pinakamababang pagkaantala ng pag-download.
Suriin ang pagpapangkat bago baguhin ang algorithm
Ang isang custom na middleware ay maaaring magtalaga ng request.meta["download_slot"], na pumapalit sa normal na pagpili ng slot. Ang ilang extension ng proxy ay gumagamit ng sarili nilang pagpapangkat. Suriin ang mga setting na iyon kung ang hindi magkaugnay na site ay tila nagbabahagi ng isang limiter.
Sa kabaligtaran, ang pagtalaga ng ibang slot para sa bawat proxy ay maaaring magpahintulot sa maraming proxy na makipag-ugnayan sa parehong target nang sabay. Maaaring mapahina nito ang limitasyon sa buong site na dapat igalang ng crawler. Piliin ang susi ng slot ayon sa pinoprotektahang resource.
Kasama sa pagkaantala ang landas na ginamit mo
Sinusukat ng Scrapy ang latency mula sa pagpapadala ng kahilingan hanggang sa pagtanggap ng mga header ng HTTP. Ang kahilingang dinadala sa pamamagitan ng proxy ay maaaring isama ang pagkaantala sa pila at pagpapasa ng tagapamagitan sa pagsukat na iyon. Hindi nakakakuha ang AutoThrottle ng hiwalay na oras ng pagproseso para sa pinagmulan lamang.
Hindi kayang gawin ng pagtaas ng sabay-sabay na paggana na ihiwalay ng pagsukat na iyon ang site. Panatilihin ang paggalang sa target at kapasidad ng proxy bilang magkahiwalay na limitasyon kapag mahalaga ang pareho. Ang isang pinagsasaluhang proxy ay maaaring mangailangan ng karagdagang badyet sa sabay-sabay na paggana sa mga slot ng target, habang pinapanatili ng bawat target ang sarili nitong patakaran sa rate.