Oldingi proksi crawler uchun robots.txt qoidalarini bajaradimi?
robots siyosatini crawler ichida saqlang va uni oldingi proksida bajarish chegaralarini tushuning.
Crawlerga HTTP proksi berish uning so‘rovlari veb-saytga yetib borish usulini o‘zgartiradi. Lekin bu proksi robots.txt faylini olib kelishiga, crawler qoidalar guruhini tanlashiga yoki so‘rovlarini odob bilan rejalashtirishiga olib kelmaydi.
Robots Exclusion Protocol crawlerlar uchun qoidalarni tavsiflaydi. U moslashtirish, olishdagi nosozliklar, qayta yo‘naltirishlar va kesh xatti-harakatini qamrab oladi. Faqat so‘ralgan hujjatni uzatuvchi proksi bu siyosatni crawler nomidan joriy qilmagan.
Qoidalar bo‘yicha qarorni crawler so‘rovlar navbatiga yaqin tuting. Ish yuborilishidan oldin ko‘zlangan identifikatsiya, maqsad URI va rejalashtirish holati aynan o‘sha yerda mavjud.
Nega proksi tomonidagi filtr ko‘ringanidan qiyinroq
Oddiy HTTP uchun maxsus qurilgan filtr maqsad yo‘lni va User-Agentni ko‘ra oladi. Baribir unga qoidalarning haqiqiy tatbiqi hamda tegishli robots faylini olish, keshlash va yangilash bo‘yicha belgilangan siyosat kerak. Bir necha Disallow qatorini statik manzil to‘siqlariga aylantirish to‘liq protokol emas.
Oddiy CONNECT orqali HTTPSda oldingi proksi tunnel manzilini ko‘radi, har bir shifrlangan sahifa yo‘lini va ichki User-Agentni emas. Boshqa qasddan qilingan chora taqdim etmasa, yo‘l darajasidagi robots qarorlari uchun zarur ma’lumot unga yetishmaydi.
Chiqish manzilini o‘zgartirish ham taqiqlangan yo‘lni ruxsat etilgan yo‘lga aylantirmaydi. Crawler faoliyatini bo‘lishadigan ishchilar orasida sur’atni muvofiqlashtiring; marshrutlarni almashtirish bu siyosatning o‘rnini bosmaydi.
Nihoyat, robots qoidalari kirish ruxsati emas. Ruxsat etilgan yo‘l autentifikatsiyani yoki saytning boshqa kirish talablarini bekor qilmaydi, ochiq robots fayli esa maxfiy tarkibni himoya qilmaydi.