ဖော်ဝါဒ်ပရောက်စီသည် crawler အတွက် robots.txt ကို ကျင့်သုံးပါသလား။
robots မူဝါဒကို crawler အတွင်း၌ ထားရှိပြီး ပေးပို့သည့် ပရောက်စီတွင် ကျင့်သုံးခြင်း၏ ကန့်သတ်ချက်များကို နားလည်ပါ။
crawler အား HTTP ပရောက်စီ ပေးခြင်းသည် ၎င်း၏ တောင်းဆိုချက်များ ဝဘ်ဆိုက်သို့ ရောက်ရှိပုံကို ပြောင်းလဲစေသည်။ သို့သော် ပရောက်စီက robots.txt ကို ယူလာမည်၊ crawler ၏ စည်းမျဉ်းအုပ်စုကို ရွေးမည် သို့မဟုတ် ၎င်း၏ တောင်းဆိုချက်များကို ယဉ်ကျေးစွာ အချိန်စီစဉ်မည် မဟုတ်ပါ။
Robots Exclusion Protocol သည် crawler များအတွက် စည်းမျဉ်းများကို ဖော်ပြသည်။ ကိုက်ညီမှု၊ ရယူရာတွင် မအောင်မြင်မှုများ၊ ပြန်ညွှန်းမှုများနှင့် cache ၏ အပြုအမူများ ပါဝင်သည်။ တောင်းဆိုထားသော စာရွက်စာတမ်းကို ရိုးရိုးပို့ပေးရုံသာ လုပ်သော ပရောက်စီသည် ထိုမူဝါဒကို crawler ကိုယ်စား အကောင်အထည်ဖော်ထားခြင်း မရှိပါ။
စည်းမျဉ်း ဆုံးဖြတ်ချက်ကို crawler ၏ တောင်းဆိုချက်တန်းနှင့် နီးကပ်စွာ ထားပါ။ အလုပ်မပို့မီ ရည်ရွယ်ထားသော အထောက်အထား၊ ပစ်မှတ် URI နှင့် အချိန်စီစဉ်မှု အခြေအနေတို့ ထိုနေရာတွင် ရနိုင်သည်။
ပရောက်စီဘက်တွင် စစ်ထုတ်ခြင်းက ကြားရသလောက် မလွယ်ကူသည့် အကြောင်း
သာမန် HTTP အတွက် အထူးတည်ဆောက်ထားသော စစ်ထုတ်ကိရိယာသည် ပစ်မှတ်လမ်းကြောင်းနှင့် User-Agent ကို မြင်နိုင်သည်။ သို့သော် ၎င်းသည် စစ်မှန်သော စည်းမျဉ်း အကောင်အထည်ဖော်မှုနှင့် သက်ဆိုင်ရာ robots ဖိုင်ကို ရယူခြင်း၊ cache လုပ်ခြင်း၊ အပ်ဒိတ်လုပ်ခြင်းအတွက် သတ်မှတ်ထားသော မူဝါဒ လိုအပ်သည်။ Disallow လိုင်းအနည်းငယ်ကို တည်ငြိမ်သော လိပ်စာပိတ်ဆို့မှုအဖြစ် ပြောင်းခြင်းသည် ပရိုတိုကော တစ်ခုလုံး မဟုတ်ပါ။
သာမန် CONNECT ဖြင့် HTTPS အတွက် ဖော်ဝါဒ်ပရောက်စီသည် ဥမင်၏ ဦးတည်ရာကို မြင်ရပြီး ကုဒ်ဝှက်ထားသော စာမျက်နှာတစ်ခုချင်း၏ လမ်းကြောင်းနှင့် အတွင်းပိုင်း User-Agent ကို မမြင်ပါ။ အခြား ရည်ရွယ်ချက်ရှိသော အစီအစဉ်တစ်ခုက မပေးပါက လမ်းကြောင်းအဆင့် robots ဆုံးဖြတ်ချက်များအတွက် လိုအပ်သော အချက်အလက် ၎င်းတွင် မရှိပါ။
ထွက်ပေါက် လိပ်စာကို ပြောင်းခြင်းကလည်း တားမြစ်ထားသော လမ်းကြောင်းကို ခွင့်ပြုထားသော လမ်းကြောင်း မဖြစ်စေပါ။ crawler ၏ လုပ်ဆောင်မှုကို မျှဝေသော အလုပ်သမားများအကြား အရှိန်နှုန်းကို ညှိနှိုင်းပါ။ လမ်းကြောင်းများ လှည့်ပတ်ခြင်းသည် ထိုမူဝါဒကို အစားထိုးခြင်း မဟုတ်ပါ။
နောက်ဆုံးအနေဖြင့် robots စည်းမျဉ်းများသည် ဝင်ရောက်ခွင့် အာဏာ မဟုတ်ပါ။ ခွင့်ပြုထားသော လမ်းကြောင်းသည် အတည်ပြုခြင်း သို့မဟုတ် ဆိုက်၏ အခြား ဝင်ရောက်ခွင့် လိုအပ်ချက်များကို မကျော်လွန်ပါ၊ ပြည်သူ့ robots ဖိုင်သည် ကိုယ်ပိုင် အကြောင်းအရာကို မလုံခြုံစေပါ။