ဒိုမိန်းများစွာတွင် Scrapy ပရောက်ဆီ တစ်ပြိုင်နက်လုပ်ဆောင်မှု
ပစ်မှတ်ဒိုမိန်းများစွာက ပရောက်ဆီ ခွဲတမ်းတစ်ခုတည်းကို သုံးသည့်အခါ ဒေါင်းလုဒ်တာ၏ ကမ္ဘာလုံးဆိုင်ရာ တစ်ပြိုင်နက်လုပ်ဆောင်မှု ကန့်သတ်ချက်ကို သုံးပြီး ထိုအကောင့်ကို မျှဝေသော အခြား crawler များကိုပါ ထည့်တွက်ပါ။
ခရီးဆုံးတစ်ခုစီက ပရောက်ဆီအကောင့်တစ်ခုတည်းကို သုံးပါက ထိုအကောင့်၏ တစ်ပြိုင်နက် တောင်းဆိုမှု ခွင့်ပြုချက်သည် ထိုခရီးဆုံးအားလုံးတွင် ကုန်ဆုံးနိုင်သည်။ ဒိုမိန်းတစ်ခုချင်း ကန့်သတ်ချက်တစ်ခုတည်းက ထိုမျှဝေဘတ်ဂျက်ကို ဖော်ပြမည်မဟုတ်ပါ။
အများဆုံး 20 တစ်ပြိုင်နက် တောင်းဆိုမှုကို ခွင့်ပြုသော စိတ်ကူးယဉ်အကောင့်အတွက် နေရာအနည်းငယ်ချန်ပြီး crawler ၏ ကမ္ဘာလုံးဆိုင်ရာ ဒေါင်းလုဒ်တာ ကန့်သတ်ချက်ကို သတ်မှတ်ပါ။
CONCURRENT_REQUESTS = 16ဤသည် နမူနာခွဲဝေမှုဖြစ်ပြီး ဝန်ဆောင်ပေးသူတိုင်းအတွက် အကြံပြုသည့် တန်ဖိုးမဟုတ်ပါ။ Scrapy သည် CONCURRENT_REQUESTS ကို ဒေါင်းလုဒ်တာ၏ အများဆုံး တစ်ပြိုင်နက် တောင်းဆိုမှုအရေအတွက်အဖြစ် သတ်မှတ်သည်။ ဒိုမိန်းတစ်ခုချင်း ထိန်းချုပ်မှုများက တစ်ပြိုင်နက်လုပ်ဆောင်မှုကို ပိုလျှော့နိုင်သည်။ သို့သော် ကမ္ဘာလုံးဆိုင်ရာ အထက်ဆုံးကန့်သတ်ချက်ကို အစားထိုးမည်မဟုတ်ပါ။
အခြား crawler များကိုပါ တွက်ချက်မှုတွင် ထည့်ပါ။ တစ်ခုစီ 16 တောင်းဆိုမှု ခွင့်ပြုထားသော လွတ်လပ်သည့် crawler နှစ်ခုသည် ပေါင်းပြီး 20 ၏ မျှဝေခွင့်ပြုချက်ကို ကျော်လွန်နိုင်သည်။ ဘတ်ဂျက်ကို တမင်ခွဲဝေပါ သို့မဟုတ် ထို client များ ဆုံတွေ့သည့်နေရာတွင် မျှဝေကန့်သတ်ချက် ချမှတ်ပါ။
ဝန်ဆောင်ပေးသူက ဘာကိုရေတွက်သည်ကိုလည်း သတ်မှတ်ပါ။ HTTP တောင်းဆိုမှုများ၊ ဖွင့်ထားသော TCP ချိတ်ဆက်မှုများ၊ အသက်ဝင်သော ဥမင်များနှင့် တစ်စက္ကန့် တောင်းဆိုမှုများသည် မတူညီသော ပမာဏများဖြစ်သည်။ တည်မြဲသော ချိတ်ဆက်မှုများနှင့် များပြားစွာ ပေါင်းစပ်ခြင်းက သူတို့၏ အရေအတွက်ကို ကွဲပြားစေနိုင်သည်။ ထို့ကြောင့် တောင်းဆိုမှု တစ်ပြိုင်နက်လုပ်ဆောင်မှု သတ်မှတ်ချက်သည် ချိတ်ဆက်မှု သို့မဟုတ် နှုန်း၏ ပြည့်စုံသော ကန့်သတ်ချက် မဟုတ်ပါ။
ပစ်မှတ်ဆိုက်၏ အရှိန်ကို သီးခြားကန့်သတ်ချက်အဖြစ် ထားရှိပါ။ ပရောက်ဆီအကောင့်တွင် အသုံးမပြုသော စွမ်းရည်ရှိနေသော်လည်း သီးခြားခရီးဆုံးတစ်ခုအတွက် တစ်ပြိုင်နက်လုပ်ဆောင်မှု နည်းခြင်း သို့မဟုတ် ဒေါင်းလုဒ်နှောင့်နှေးမှု သင့်လျော်နိုင်ပါသည်။