Чи застосовує прямий проксі robots.txt для краулера?
Тримайте політику robots у самому краулері та розумійте межі її застосування на прямому проксі.
Якщо дати краулеру HTTP-проксі, змінюється те, як його запити потрапляють на сайт. Але проксі не почне завантажувати robots.txt, вибирати групу правил краулера чи ввічливо планувати його запити.
Robots Exclusion Protocol описує правила для краулерів. Він охоплює зіставлення, збої завантаження, переспрямування та поведінку кешу. Проксі, яке лише передає запитаний документ, не реалізувало цю політику від імені краулера.
Тримайте рішення щодо правил близько до черги запитів краулера. Саме там до надсилання роботи доступні передбачувана ідентичність, цільовий URI та стан планування.
Чому фільтр на боці проксі складніший, ніж здається
Для звичайного HTTP спеціально побудований фільтр може бачити цільовий шлях і User-Agent. Та йому все одно потрібна справжня реалізація правил і визначена політика завантаження, кешування та оновлення застосовного файлу robots. Перетворення кількох рядків Disallow на статичні блокування адрес — не весь протокол.
Для HTTPS через звичайний CONNECT прямий проксі бачить призначення тунелю, а не шлях кожної зашифрованої сторінки та внутрішній User-Agent. Йому бракує відомостей для рішень robots на рівні шляху, якщо їх не надасть інша навмисна схема.
Зміна вихідної адреси теж не робить заборонений шлях дозволеним. Узгодьте темп між працівниками, які поділяють активність краулера; ротація маршрутів не замінює цю політику.
Нарешті, правила robots — це не дозвіл на доступ. Дозволений шлях не скасовує автентифікацію чи інші вимоги сайту до доступу, а публічний файл robots не захищає приватний вміст.