Bir yönlendirme vekili crawler için robots.txt uygular mı?
robots ilkesini crawler'ın kendisinde tutun ve yönlendirme vekilinde uygulanmasının sınırlarını anlayın.
Bir crawler'a HTTP vekili vermek, isteklerinin siteye ulaşma biçimini değiştirir. Ancak bu, vekilin robots.txt dosyasını getirmesini, crawler'ın kural grubunu seçmesini veya isteklerini nezaketle zamanlamasını sağlamaz.
Robots Exclusion Protocol, crawler'lar için kuralları tanımlar. Eşleştirme, getirme hataları, yönlendirmeler ve önbellek davranışını kapsar. Yalnızca istenen belgeyi ileten bir vekil, bu ilkeyi crawler adına uygulamamıştır.
Kural kararını crawler'ın istek kuyruğuna yakın tutun. İş gönderilmeden önce amaçlanan kimlik, hedef URI ve zamanlama durumu orada bulunur.
Vekil tarafındaki bir süzgeç neden göründüğünden zor
Düz HTTP için özel olarak kurulmuş bir süzgeç hedef yolu ve User-Agent'ı görebilir. Yine de gerçek bir kural uygulamasına ve geçerli robots dosyasının getirilmesi, önbelleğe alınması ve güncellenmesi için tanımlı bir ilkeye ihtiyaç duyar. Birkaç Disallow satırını statik adres engellerine dönüştürmek protokolün tamamı değildir.
Sıradan CONNECT üzerinden HTTPS'te yönlendirme vekili tünelin hedefini görür; şifrelenmiş her sayfanın yolunu ve iç User-Agent'ı görmez. Başka bir bilinçli düzen sağlamadıkça yol düzeyindeki robots kararları için gereken bilgi onda yoktur.
Çıkış adresini değiştirmek de yasak bir yolu izinli hale getirmez. Crawler'ın etkinliğini paylaşan çalışanlar arasında hızı eşgüdümleyin; rotaları döndürmek o ilkenin yerini tutmaz.
Son olarak, robots kuralları erişim yetkisi değildir. İzinli bir yol kimlik doğrulamayı veya sitenin diğer erişim koşullarını geçersiz kılmaz ve herkese açık bir robots dosyası özel içeriği korumaz.