¿Un proxy directo aplica robots.txt para un rastreador?
Mantenga la política de robots en el rastreador y entienda los límites de aplicarla en un proxy de reenvío.
Dar un proxy HTTP a un rastreador cambia cómo llegan sus peticiones al sitio web. No hace que el proxy obtenga robots.txt, elija el grupo de reglas del rastreador ni programe sus peticiones con cortesía.
El Robots Exclusion Protocol describe reglas para los rastreadores. Incluye la coincidencia, los fallos de obtención, las redirecciones y el comportamiento de la caché. Un proxy que solo retransmite el documento solicitado no ha implementado esa política en nombre del rastreador.
Mantenga la decisión sobre las reglas cerca de la cola de peticiones del rastreador. Allí están disponibles la identidad prevista, el URI objetivo y el estado de programación antes de enviar trabajo.
Por qué un filtro del lado del proxy es más difícil de lo que parece
Con HTTP simple, un filtro hecho a medida puede ver la ruta objetivo y el User-Agent. Aun así necesita una implementación real de las reglas y una política definida para obtener, almacenar y actualizar el archivo robots aplicable. Convertir unas pocas líneas Disallow en bloqueos estáticos de direcciones no es el protocolo completo.
Con HTTPS a través de CONNECT ordinario, el proxy de reenvío ve el destino del túnel, no la ruta de cada página cifrada ni el User-Agent interno. Le falta la información necesaria para decidir sobre robots a nivel de ruta, salvo que otro arreglo deliberado se la proporcione.
Cambiar la dirección de salida tampoco convierte una ruta prohibida en una permitida. Coordine el ritmo entre los trabajadores que comparten la actividad del rastreador; rotar rutas no sustituye esa política.
Por último, las reglas de robots no son una autorización de acceso. Una ruta permitida no anula la autenticación ni los demás requisitos de acceso del sitio, y un archivo robots público no protege el contenido privado.