Adakah proksi hadapan menguatkuasakan robots.txt untuk crawler?
Simpan dasar robots di dalam crawler dan fahami had penguatkuasaannya pada proksi penghantaran.
Memberi crawler proksi HTTP mengubah cara permintaannya sampai ke laman web. Ia tidak menyebabkan proksi mengambil robots.txt, memilih kumpulan peraturan crawler atau menjadualkan permintaannya dengan sopan.
Robots Exclusion Protocol menerangkan peraturan untuk crawler. Ia merangkumi pemadanan, kegagalan pengambilan, ubah hala dan tingkah laku cache. Proksi yang hanya menyampaikan dokumen yang diminta tidak melaksanakan dasar itu bagi pihak crawler.
Simpan keputusan peraturan dekat dengan baris gilir permintaan crawler. Di situlah identiti yang dimaksudkan, URI sasaran dan keadaan penjadualan tersedia sebelum kerja dihantar.
Mengapa penapisan di sebelah proksi lebih sukar daripada yang disangka
Untuk HTTP biasa, penapis yang dibina khas mungkin melihat laluan sasaran dan User-Agent. Ia masih memerlukan pelaksanaan peraturan yang sebenar dan dasar yang jelas untuk mengambil, menyimpan dan mengemas kini fail robots yang berkenaan. Menukar beberapa baris Disallow kepada sekatan alamat statik bukanlah protokol penuh.
Untuk HTTPS melalui CONNECT biasa, proksi hadapan melihat destinasi terowong, bukan laluan setiap halaman yang disulitkan dan User-Agent dalaman. Ia kekurangan maklumat yang diperlukan untuk keputusan robots pada peringkat laluan melainkan susunan lain yang disengajakan menyediakannya.
Menukar alamat keluar juga tidak menjadikan laluan terlarang sebagai laluan yang dibenarkan. Selaraskan kadar antara pekerja yang berkongsi aktiviti crawler; memutar laluan bukan pengganti dasar itu.
Akhir sekali, peraturan robots bukan kebenaran akses. Laluan yang dibenarkan tidak mengatasi pengesahan atau keperluan akses lain laman, dan fail robots awam tidak melindungi kandungan peribadi.