ပရောက်စီမှတစ်ဆင့် Scrapy AutoThrottle- ဆလော့များနှင့် ကြန့်ကြာမှု
ပစ်မှတ်ဆိုက်၏ ဒေါင်းလုဒ်ဆလော့များကို ပရောက်စီလမ်းကြောင်းများနှင့် သီးခြားထားပြီး ကြန့်ကြာမှုကို လေ့လာတွေ့ရှိသော တောင်းဆိုမှုလမ်းကြောင်းအဖြစ် အဓိပ္ပာယ်ဖွင့်ပါ။
မူလအားဖြင့် Scrapy သည် တောင်းဆိုမှု URL ၏ ဒိုမိန်းမှ ဒေါင်းလုဒ်ဆလော့များကို သတ်မှတ်ပေးသည်။ တောင်းဆိုမှုတစ်ခုကို HTTP ပရောက်စီ ပေးခြင်းသည် ထို URL ကို ပရောက်စီ၏ လက်ခံကွန်ပျူတာအမည်သို့ မပြောင်းလဲစေပါ။ ထို့ကြောင့် မတူညီသော ဆိုက်များသို့ တောင်းဆိုမှုများသည် ကြားခံတစ်ခုကို မျှဝေနေစဉ် မတူညီသော ဆလော့များကို ထိန်းထားနိုင်သည်။
AutoThrottle သည် တွေ့ရှိထားသော ဒေါင်းလုဒ်ကြန့်ကြာမှုကို အသုံးပြု၍ ဆလော့တစ်ခုစီ၏ နောက်ကျမှုကို ချိန်ညှိသည်။ ဒိုမိန်းတစ်ခုစီအတွက် စံပြိုင်တူလုပ်ဆောင်မှုကန့်သတ်ချက်နှင့် အနည်းဆုံး ဒေါင်းလုဒ်နောက်ကျမှုတို့ ရှိနေဆဲဖြစ်သည်။
အယ်လဂိုရီသမ်ကို မပြောင်းမီ အုပ်စုဖွဲ့မှုကို စစ်ဆေးပါ
စိတ်ကြိုက် ကြားခံဆော့ဖ်ဝဲသည် request.meta["download_slot"] ကို သတ်မှတ်ပြီး ပုံမှန်ဆလော့ရွေးချယ်မှုကို ကျော်လွန်နိုင်သည်။ အချို့ပရောက်စီ တိုးချဲ့မှုများသည် ၎င်းတို့၏ ကိုယ်ပိုင်အုပ်စုဖွဲ့မှုကို အသုံးပြုသည်။ မသက်ဆိုင်သော ဆိုက်များသည် ကန့်သတ်ကိရိယာတစ်ခုကို မျှဝေနေပုံရလျှင် ထိုဆက်တင်များကို စစ်ဆေးပါ။
ဆန့်ကျင်ဘက်အားဖြင့် ပရောက်စီတစ်ခုစီအတွက် မတူညီသောဆလော့ သတ်မှတ်ခြင်းသည် ပရောက်စီများစွာကို တစ်ချိန်တည်းတွင် တူညီသောပစ်မှတ်သို့ ဆက်သွယ်ခွင့်ပြုနိုင်သည်။ ၎င်းသည် ခြေရာခံစက်က လိုက်နာသင့်သော ဆိုက်တစ်ခုလုံး၏ ကန့်သတ်ချက်ကို ပျက်ပြားစေနိုင်သည်။ ကာကွယ်ထားသော အရင်းအမြစ်အလိုက် ဆလော့သော့ကို ရွေးပါ။
နောက်ကျမှုတွင် သင်အသုံးပြုခဲ့သော လမ်းကြောင်း ပါဝင်သည်
Scrapy သည် တောင်းဆိုမှုပို့ချိန်မှ HTTP ခေါင်းစီးများ လက်ခံရရှိချိန်အထိ ကြန့်ကြာမှုကို တိုင်းတာသည်။ ပရောက်စီမှတစ်ဆင့် သယ်ဆောင်သော တောင်းဆိုမှုတွင် ကြားခံ၏ တန်းစီခြင်းနှင့် ထပ်ဆင့်ပို့ခြင်း နောက်ကျမှုကို ထိုလေ့လာတွေ့ရှိမှုတွင် ထည့်သွင်းနိုင်သည်။ AutoThrottle သည် မူလအရင်းအမြစ်အတွက်သာ သီးခြား လုပ်ဆောင်ချိန်ကို မရရှိပါ။
ပြိုင်တူလုပ်ဆောင်မှု တိုးမြှင့်ခြင်းက ထိုတိုင်းတာမှုကို ဆိုက်ကို သီးခြားခွဲထုတ်စေနိုင်ခြင်း မရှိပါ။ ပစ်မှတ်အပေါ် ယဉ်ကျေးမှုနှင့် ပရောက်စီစွမ်းရည်ကို နှစ်ခုလုံး အရေးကြီးသောအခါ သီးခြားကန့်သတ်ချက်များအဖြစ် ထားပါ။ မျှဝေထားသော ပရောက်စီသည် ပစ်မှတ်ဆလော့များတစ်လျှောက် ထပ်ဆောင်း ပြိုင်တူလုပ်ဆောင်မှုဘတ်ဂျက် လိုအပ်နိုင်ပြီး ပစ်မှတ်တစ်ခုစီက ၎င်းတို့၏ နှုန်းထားမူဝါဒကို ထိန်းထားသည်။