کیا فارورڈ پراکسی کسی کرالر کے لیے robots.txt نافذ کرتی ہے؟

کرالر کو HTTP پراکسی دینے سے اس کی درخواستیں ویب سائٹ تک پہنچنے کا طریقہ بدل جاتا ہے۔ تاہم اس سے پراکسی robots.txt نہیں لائے گی، کرالر کا قاعدہ گروپ منتخب نہیں کرے گی اور نہ اس کی درخواستوں کو شائستگی سے شیڈول کرے گی۔

Robots Exclusion Protocol کرالرز کے لیے قواعد بیان کرتا ہے۔ اس میں مطابقت، حصول کی ناکامیاں، ری ڈائریکٹ اور کیش کا رویہ شامل ہیں۔ جو پراکسی صرف مطلوبہ دستاویز آگے بھیجتی ہے، اس نے وہ پالیسی کرالر کی جانب سے نافذ نہیں کی۔

قواعد کا فیصلہ کرالر کی درخواست قطار کے قریب رکھیں۔ کام بھیجنے سے پہلے مطلوبہ شناخت، ہدف URI اور شیڈولنگ کی حالت وہیں دستیاب ہوتی ہے۔

پراکسی کی طرف فلٹر کرنا سننے سے زیادہ مشکل کیوں ہے

سادہ HTTP کے لیے خاص طور پر بنایا گیا فلٹر ہدف راستہ اور User-Agent دیکھ سکتا ہے۔ پھر بھی اسے حقیقی قواعد کی تنفیذ اور قابلِ اطلاق robots فائل لانے، کیش کرنے اور اپ ڈیٹ کرنے کی متعین پالیسی درکار ہے۔ چند Disallow سطروں کو مستقل پتہ روکوں میں بدلنا پورا پروٹوکول نہیں ہے۔

عام CONNECT کے ذریعے HTTPS میں فارورڈ پراکسی سرنگ کی منزل دیکھتی ہے، ہر خفیہ کردہ صفحے کا راستہ اور اندرونی User-Agent نہیں۔ کوئی دوسرا سوچا سمجھا انتظام فراہم نہ کرے تو راستے کی سطح کے robots فیصلوں کے لیے ضروری معلومات اس کے پاس نہیں۔

باہر جانے والا پتہ بدلنے سے بھی ممنوع راستہ جائز نہیں بنتا۔ کرالر کی سرگرمی ساجھا کرنے والے کارکنوں کے درمیان رفتار کا توازن رکھیں؛ راستے بدلتے رہنا اس پالیسی کا متبادل نہیں۔

آخر میں، robots کے قواعد رسائی کی اجازت نہیں ہیں۔ جائز راستہ تصدیق یا سائٹ کی دیگر رسائی شرائط کو نظرانداز نہیں کرتا، اور عوامی robots فائل نجی مواد کو محفوظ نہیں کرتی۔