هل يفرض الوكيل الأمامي robots.txt على برنامج الزحف؟

منح برنامج الزحف وكيلاً عبر HTTP يغيّر طريقة وصول طلباته إلى الموقع. لكنه لا يجعل الوكيل يجلب robots.txt أو يختار مجموعة القواعد الخاصة بالزاحف أو يجدول طلباته بأدب.

تصف قاعدة استبعاد الروبوتات قواعد للزوارف. وهي تشمل المطابقة وأعطال الجلب وإعادة التوجيه وسلوك التخزين المؤقت. والوكيل الذي يكتفي بتمرير المستند المطلوب لم ينفّذ تلك السياسة نيابة عن الزاحف.

أبقِ قرار القواعد قريباً من قائمة انتظار طلبات الزاحف. فهناك تتوفر الهوية المقصودة وعنوان الهدف وحالة الجدولة قبل إرسال أي عمل.

لماذا يكون الترشيح عند الوكيل أصعب مما يبدو

في HTTP العادي قد يرى مرشّح مبني لهذا الغرض المسار الهدف وUser-Agent. لكنه لا يزال بحاجة إلى تنفيذ حقيقي للقواعد وإلى سياسة محددة لجلب ملف robots المنطبق وتخزينه مؤقتاً وتحديثه. وتحويل بضعة أسطر Disallow إلى حجب ثابت للعناوين ليس البروتوكول الكامل.

في HTTPS عبر CONNECT العادي يرى الوكيل الأمامي وجهة النفق، لا مسار كل صفحة مشفّرة ولا User-Agent الداخلي. ويفتقد المعلومات اللازمة لقرارات robots على مستوى المسار ما لم يوفّرها ترتيب آخر مقصود.

وتغيير العنوان الخارجي للشبكة لا يحوّل مساراً ممنوعاً إلى مسار مسموح. نسّق الوتيرة بين العمال الذين يتشاركون نشاط الزاحف؛ فتدوير المسارات ليس بديلاً عن تلك السياسة.

أخيراً، قواعد robots ليست تصريح وصول. فالمسار المسموح لا يتجاوز المصادقة ولا متطلبات الوصول الأخرى للموقع، وملف robots العلني لا يحمي المحتوى الخاص.