İrəli proxy crawler üçün robots.txt qaydasını tətbiq edirmi?
robots siyasətini crawler-in özündə saxlayın və irəli proxy-də tətbiqin hüdudlarını anlayın.
Crawler-ə HTTP proxy vermək onun sorğularının sayta çatma üsulunu dəyişir. Bu, proxy-nin robots.txt faylını gətirməsinə, crawler-in qayda qrupunu seçməsinə və ya sorğularını nəzakətlə planlaşdırmasına səbəb olmur.
Robots Exclusion Protocol crawler-lər üçün qaydaları təsvir edir. Uyğunlaşdırma, gətirmə uğursuzluqları, yönləndirmələr və keş davranışı buraya daxildir. Sadəcə istənilən sənədi ötürən proxy bu siyasəti crawler adından tətbiq etməmişdir.
Qayda qərarını crawler-in sorğu növbəsinə yaxın saxlayın. İş göndərilməzdən əvvəl nəzərdə tutulan kimlik, hədəf URI və planlaşdırma vəziyyəti məhz orada mövcuddur.
Proxy tərəfində filtr nə üçün göründüyündən çətindir
Adi HTTP üçün xüsusi qurulmuş filtr hədəf yolu və User-Agent-i görə bilər. Yenə də real qayda tətbiqinə və aidiyyəti robots faylının gətirilməsi, keşlənməsi və yenilənməsi üzrə müəyyən siyasətə ehtiyac var. Bir neçə Disallow sətrini statik URL bloklarına çevirmək tam protokol deyil.
Adi CONNECT üzərindən HTTPS üçün irəli proxy tunelin təyinatını görür, hər şifrələnmiş səhifənin yolunu və daxili User-Agent-i deyil. Başqa qəsdən qurulmuş mexanizm təmin etməsə, yol səviyyəsində robots qərarları üçün lazım olan məlumat ondan yoxdur.
Çıxış ünvanını dəyişmək də qadağan edilmiş yolu icazəli yola çevirmir. Crawler-in fəaliyyətini paylaşan işçilər arasında tempi koordinasiya edin; marşrutları döndərmək bu siyasətin əvəzi deyil.
Nəhayət, robots qaydaları giriş icazəsi deyil. İcazəli yol autentifikasiyanı və ya saytın digər giriş tələblərini üstələmir, açıq robots faylı isə şəxsi məzmunu qorumur.