Налага ли преден прокси robots.txt за обхождащ робот?
Дръжте политиката robots в самия робот и разберете границите на налагането ѝ на преден прокси.
Когато дадете на обхождащ робот HTTP прокси, се променя начинът, по който заявките му стигат до сайта. Това не кара проксито да изтегли robots.txt, да избере групата правила на робота или да планира заявките му учтиво.
Robots Exclusion Protocol описва правила за роботи. Той включва съпоставяне, неуспехи при изтегляне, пренасочвания и поведение на кеша. Прокси, което просто предава поискания документ, не е приложило тази политика от името на робота.
Дръжте решението за правилата близо до опашката със заявки на робота. Там са налични предвидената идентичност, целевият адрес и състоянието на планирането, преди работата да бъде изпратена.
Защо филтър от страната на проксито е по-труден, отколкото изглежда
При обикновен HTTP специално изграден филтър може да види целевия път и User-Agent. Той все още се нуждае от истинска реализация на правилата и от определена политика за изтегляне, кеширане и обновяване на приложимия файл robots. Превръщането на няколко реда Disallow в статични блокове за адреси не е целият протокол.
При HTTPS през обикновен CONNECT предното прокси вижда дестинацията на тунела, а не пътя на всяка шифрована страница и вътрешния User-Agent. Липсва му информацията, нужна за решения за robots на ниво път, освен ако друга умишлена уредба не я осигури.
Смяната на изходния адрес също не превръща забранения път в разрешен. Координирайте темпото между работниците, които споделят активността на робота; ротацията на маршрути не замества тази политика.
И накрая, правилата robots не са разрешение за достъп. Разрешеният път не отменя удостоверяването или другите изисквания за достъп на сайта, а публичен файл robots не защитава поверително съдържание.