Apakah proxy penerus menegakkan robots.txt untuk crawler?
Simpan kebijakan robots di dalam crawler dan pahami batas penegakannya di proxy penerus.
Memberi crawler sebuah proxy HTTP mengubah cara permintaannya mencapai situs web. Itu tidak membuat proxy mengambil robots.txt, memilih kelompok aturan crawler, atau menjadwalkan permintaannya dengan sopan.
Robots Exclusion Protocol menjelaskan aturan bagi crawler. Ini mencakup pencocokan, kegagalan pengambilan, pengalihan, dan perilaku cache. Proxy yang hanya meneruskan dokumen yang diminta belum menerapkan kebijakan itu atas nama crawler.
Simpan keputusan aturan dekat antrean permintaan crawler. Di sanalah identitas yang dimaksud, URI target, dan status penjadwalan tersedia sebelum pekerjaan dikirim.
Mengapa penyaringan di sisi proxy lebih sulit daripada kelihatannya
Untuk HTTP biasa, penyaring yang dibangun khusus dapat melihat jalur target dan User-Agent. Namun penyaring itu tetap membutuhkan implementasi aturan yang nyata dan kebijakan yang jelas untuk mengambil, menyimpan, dan memperbarui berkas robots yang berlaku. Mengubah beberapa baris Disallow menjadi pemblokiran alamat statis bukanlah protokol lengkap.
Untuk HTTPS melalui CONNECT biasa, proxy penerus melihat tujuan terowongan, bukan jalur setiap halaman terenkripsi dan User-Agent di dalamnya. Proxy itu tidak memiliki informasi yang diperlukan untuk keputusan robots pada tingkat jalur, kecuali ada pengaturan lain yang disengaja memberikannya.
Mengganti alamat keluar juga tidak mengubah jalur terlarang menjadi jalur yang diizinkan. Koordinasikan tempo di antara pekerja yang berbagi aktivitas crawler; merotasi rute bukan pengganti kebijakan itu.
Terakhir, aturan robots bukan otorisasi akses. Jalur yang diizinkan tidak mengesampingkan autentikasi atau persyaratan akses lain dari situs, dan berkas robots publik tidak mengamankan konten privat.