ایا د مخې پروکسي د کرالر لپاره robots.txt پلي کوي؟
د robots پالیسي په خپل کرالر کې وساتئ او په مخکې پروکسي کې د هغې د پلي کولو حدود وپېژنئ.
کرالر ته د HTTP پروکسي ورکول بدلوي چې غوښتنې یې وېبپاڼې ته څنګه رسېږي. خو دا نه پروکسي اړ کوي چې robots.txt راوړي، نه د کرالر د قاعدو ډله وټاکي او نه یې غوښتنې په ادب سره مهالوېش کړي.
د روبوټونو د ایستلو پروتوکول د کرالرونو لپاره قاعدې بیانوي. په دې کې سمون، د راوړلو ناکامي، بیاځلې لارښوونې او د کیش چلند شامل دي. هغه پروکسي چې یوازې غوښتل شوی سند لېږدوي، دا پالیسي د کرالر په استازیتوب نه ده پلي کړې.
د قاعدو پرېکړه د کرالر د غوښتنو کرښې ته نږدې وساتئ. هماغه ځای کې د کار له لېږلو مخکې پامشوې پېژندنه، موخه URI او د مهالوېش حالت شته.
ولې د پروکسي په خوا کې فلټر کول له اورېدو څخه سخت دي
د ساده HTTP لپاره په ځانګړي ډول جوړ شوی فلټر کولی شي موخه لاره او User-Agent وګوري. خو لا هم ورته ریښتینې قاعدې پلي کول او د اړوند robots فایل د راوړلو، کیش کولو او تازه کولو لپاره ټاکلې پالیسي پکار ده. څو Disallow کرښې په ثابتو پته بندیزونو بدلول بشپړ پروتوکول نه دی.
د HTTPS لپاره چې د عادي CONNECT له لارې تېرېږي، مخکې پروکسي د تونل موخه ویني، نه د هر کوډ شوي مخ لاره او نه دنني User-Agent. د لارې په کچه د robots پرېکړو لپاره اړین معلومات ورسره نشته، پرته له دې چې بله پټه چاره یې برابره کړي.
د وتلو پتې بدلول هم بندې لارې ته اجازه نه ورکوي. د کرالر فعالیت شریکولو کارګرو ترمنځ تېزوالی همغږی کړئ؛ د لارو څرخول د دې پالیسي بدیل نه دی.
په پای کې، د robots قاعدې د لاسرسي اجازه نه ده. اجازه شوې لاره تصدیق یا د سایټ نورې د لاسرسي اړتیاوې نه لره ګذارې کوي، او عامه robots فایل شخصي منځپانګه نه ژغوري.