Применяет ли прямой прокси robots.txt для краулера?
Храните политику robots в самом краулере и понимайте пределы её применения на прямом прокси.
Если дать краулеру HTTP-прокси, меняется то, как его запросы попадают на сайт. Но прокси не станет загружать robots.txt, выбирать группу правил краулера или вежливо планировать его запросы.
Robots Exclusion Protocol описывает правила для краулеров. Он охватывает сопоставление, сбои загрузки, перенаправления и поведение кеша. Прокси, которое просто передаёт запрошенный документ, не реализовало эту политику от имени краулера.
Держите решение по правилам рядом с очередью запросов краулера. Именно там до отправки работы доступны предполагаемая личность, целевой URI и состояние планирования.
Почему фильтр на стороне прокси сложнее, чем кажется
Для обычного HTTP специально построенный фильтр может видеть целевой путь и User-Agent. Но ему всё равно нужна настоящая реализация правил и определённая политика загрузки, кеширования и обновления применимого файла robots. Превращение нескольких строк Disallow в статические блокировки адресов — не весь протокол.
Для HTTPS через обычный CONNECT прямой прокси видит назначение туннеля, а не путь каждой зашифрованной страницы и внутренний User-Agent. Ему не хватает сведений для решений robots на уровне пути, если их не предоставит другая намеренная схема.
Смена исходящего адреса тоже не превращает запрещённый путь в разрешённый. Согласуйте темп между работниками, которые делят активность краулера; ротация маршрутов не заменяет эту политику.
Наконец, правила robots — не разрешение на доступ. Разрешённый путь не отменяет аутентификацию или другие требования сайта к доступу, а публичный файл robots не защищает закрытое содержимое.