Czy proxy przekazujące egzekwuje robots.txt dla indeksera?
Trzymaj politykę robots w samym indekserze i rozumiej granice egzekwowania jej w proxy przekazującym.
Przydzielenie indekserowi proxy HTTP zmienia sposób, w jaki jego żądania docierają do witryny. Nie powoduje jednak, że proxy pobiera robots.txt, wybiera grupę reguł indeksera ani planuje jego żądań z należytą uprzejmością.
Robots Exclusion Protocol opisuje reguły dla indekserów. Obejmuje dopasowanie, błędy pobierania, przekierowania i zachowanie pamięci podręcznej. Proxy, które jedynie przekazuje żądany dokument, nie wdrożyło tej polityki w imieniu indeksera.
Trzymaj decyzję o regułach blisko kolejki żądań indeksera. To tam przed wysłaniem pracy dostępne są zamierzona tożsamość, docelowy URI i stan planowania.
Dlaczego filtr po stronie proxy jest trudniejszy, niż się wydaje
W zwykłym HTTP zbudowany specjalnie filtr może zobaczyć docelową ścieżkę i User-Agent. Wciąż jednak potrzebuje prawdziwej implementacji reguł oraz określonej polityki pobierania, buforowania i aktualizacji właściwego pliku robots. Zamiana kilku wierszy Disallow na statyczne blokady adresów nie jest całym protokołem.
W HTTPS przez zwykłe CONNECT proxy przekazujące widzi cel tunelu, a nie ścieżkę każdej szyfrowanej strony i wewnętrzny User-Agent. Brakuje mu informacji potrzebnych do decyzji robots na poziomie ścieżki, chyba że dostarczy je inny celowy mechanizm.
Zmiana adresu wyjściowego także nie zmienia ścieżki zabronionej w dozwoloną. Koordynuj tempo między pracownikami dzielącymi aktywność indeksera; rotacja tras nie zastępuje tej polityki.
Wreszcie reguły robots nie są autoryzacją dostępu. Dozwolona ścieżka nie uchyla uwierzytelniania ani innych wymagań dostępu witryny, a publiczny plik robots nie zabezpiecza prywatnych treści.