آیا یک پروکسی پیشرو robots.txt را برای خزنده اعمال می‌کند؟
سیاست robots را در خود خزنده نگه دارید و محدودیت‌های اعمال آن در پروکسی پیشرو را بشناسید.
دادن یک پروکسی HTTP به خزنده، مسیر رسیدن درخواست‌هایش به وب‌سایت را تغییر می‌دهد. اما باعث نمی‌شود پروکسی فایل robots.txt را بگیرد، گروه قواعد خزنده را انتخاب کند یا درخواست‌هایش را مؤدبانه زمان‌بندی کند.
پروتکل حذف روبات‌ها قواعدی برای خزنده‌ها توصیف می‌کند. تطبیق، خطاهای واکشی، تغییر مسیرها و رفتار حافظه نهان را در بر می‌گیرد. پروکسی‌ای که تنها سند درخواستی را بازپخش می‌کند، آن سیاست را به نمایندگی از خزنده پیاده نکرده است.
تصمیم درباره قواعد را نزدیک صف درخواست‌های خزنده نگه دارید. همان‌جا هویت موردنظر، نشانی هدف و وضعیت زمان‌بندی پیش از ارسال کار در دسترس است.
چرا یک پالایه در سمت پروکسی دشوارتر از آن است که به نظر می‌رسد
در HTTP ساده، پالایه‌ای که به‌طور ویژه ساخته شده ممکن است مسیر هدف و User-Agent را ببیند. با این حال به پیاده‌سازی واقعی قواعد و سیاستی مشخص برای واکشی، ذخیره و به‌روزرسانی فایل robots مربوط نیاز دارد. تبدیل چند خط Disallow به بلوک‌های ثابت نشانی، کل پروتکل نیست.
در HTTPS از طریق CONNECT معمولی، پروکسی پیشرو مقصد تونل را می‌بیند، نه مسیر هر صفحه رمزنگاری‌شده و User-Agent درونی. اطلاعات لازم برای تصمیم‌های robots در سطح مسیر را ندارد، مگر آنکه ترتیب دیگری به‌عمد آن را فراهم کند.
تغییر نشانی خروجی هم مسیر ممنوع را به مسیر مجاز تبدیل نمی‌کند. آهنگ کار را میان کارگرانی که فعالیت خزنده را شریک‌اند هماهنگ کنید؛ چرخش مسیرها جایگزین آن سیاست نیست.
سرانجام، قواعد robots مجوز دسترسی نیستند. مسیر مجاز، احراز هویت یا دیگر الزامات دسترسی سایت را نقض نمی‌کند، و فایل robots عمومی محتوای خصوصی را ایمن نمی‌کند.