Aplica un proxy directo robots.txt para un rastrexador?
Manteña a política de robots no rastrexador e entenda os límites de aplicala nun proxy de reenvío.
Darlle un proxy HTTP a un rastrexador cambia como chegan as súas peticións ao sitio web. Non fai que o proxy obteña robots.txt, escolla o grupo de regras do rastrexador nin programe as súas peticións con cortesía.
O Robots Exclusion Protocol describe regras para os rastrexadores. Inclúe a coincidencia, os fallos de obtención, as redireccións e o comportamento da caché. Un proxy que só retransmite o documento solicitado non implementou esa política en nome do rastrexador.
Manteña a decisión sobre as regras preto da cola de peticións do rastrexador. Alí están dispoñibles a identidade prevista, o URI obxectivo e o estado de programación antes de enviar traballo.
Por que un filtro do lado do proxy é máis difícil do que parece
Con HTTP simple, un filtro feito a medida pode ver a ruta obxectivo e o User-Agent. Aínda así necesita unha implementación real das regras e unha política definida para obter, almacenar e actualizar o ficheiro robots aplicable. Converter unhas poucas liñas Disallow en bloqueos estáticos de enderezos non é o protocolo completo.
Con HTTPS a través de CONNECT ordinario, o proxy de reenvío ve o destino do túnel, non a ruta de cada páxina cifrada nin o User-Agent interno. Falta lle a información necesaria para decidir sobre robots a nivel de ruta, agás que outro arranxo deliberado lla proporcione.
Cambiar o enderezo de saída tampouco converte unha ruta prohibida nunha permitida. Coordine o ritmo entre os traballadores que comparten a actividade do rastrexador; rotar rutas non substitúe esa política.
Por último, as regras de robots non son unha autorización de acceso. Unha ruta permitida non anula a autenticación nin os demais requisitos de acceso do sitio, e un ficheiro robots público non protexe contido privado.