Un proxy directe aplica robots.txt per a un rastrejador?
Mantingueu la política de robots al rastrejador i entengueu els límits d'aplicar-la en un proxy directe.
Donar un proxy HTTP a un rastrejador canvia com arriben les seves peticions al lloc web. No fa que el proxy obtingui robots.txt, triï el grup de regles del rastrejador ni planifiqui les seves peticions amb educació.
El Robots Exclusion Protocol descriu regles per als rastrejadors. Inclou la concordança, els errors d'obtenció, les redireccions i el comportament de la memòria cau. Un proxy que només retransmet el document sol·licitat no ha implementat aquesta política en nom del rastrejador.
Mantingueu la decisió sobre les regles a prop de la cua de peticions del rastrejador. Allà hi ha disponibles la identitat prevista, l'URI objectiu i l'estat de planificació abans d'enviar la feina.
Per què un filtre al costat del proxy és més difícil del que sembla
Amb HTTP simple, un filtre fet a mida pot veure el camí objectiu i el User-Agent. Tot i així necessita una implementació real de les regles i una política definida per obtenir, emmagatzemar i actualitzar el fitxer robots aplicable. Convertir unes quantes línies Disallow en blocs estàtics d'adreces no és el protocol complet.
Amb HTTPS a través de CONNECT ordinari, el proxy directe veu la destinació del túnel, no el camí de cada pàgina xifrada ni el User-Agent intern. Li falta la informació necessària per decidir sobre robots a nivell de camí, tret que un altre arranjament deliberat la proporcioni.
Canviar l'adreça de sortida tampoc converteix un camí prohibit en un de permès. Coordineu el ritme entre els treballadors que comparteixen l'activitat del rastrejador; rotar rutes no substitueix aquesta política.
Finalment, les regles de robots no són autorització d'accés. Un camí permès no anul·la l'autenticació ni els altres requisits d'accés del lloc, i un fitxer robots públic no protegeix contingut privat.