Урд чиглэлийн прокси crawler-ийн хувьд robots.txt-г хэрэгжүүлдэг үү?
robots бодлогыг crawler дотор байлгаж, урд чиглэлийн проксид хэрэгжүүлэх хязгаарыг ойлгоорой.
Crawler-т HTTP прокси өгөх нь түүний хүсэлтүүд вэбсайтад хүрэх замыг өөрчилдөг. Гэхдээ энэ нь проксийг robots.txt татах, crawler-ийн дүрмийн бүлгийг сонгох эсвэл хүсэлтүүдийг нь эелдэгээр төлөвлөхөд хүргэхгүй.
Robots Exclusion Protocol нь crawler-уудад зориулсан дүрмийг тодорхойлдог. Үүнд тохирол, татаж авах алдаа, дахин чиглүүлэлт, кэшийн зан төлөв багтана. Зөвхөн хүссэн баримт бичгийг дамжуулдаг прокси тэр бодлогыг crawler-ийн өмнөөс хэрэгжүүлээгүй.
Дүрмийн шийдвэрийг crawler-ийн хүсэлтийн дараалалд ойрхон байлгаарай. Ажил илгээхээс өмнө зорьсон таних тэмдэг, зорилтот URI, төлөвлөлтийн төлөв тэнд бэлэн байдаг.
Прокси талд шүүлт хийх нь сонсогдохоос хэцүү шалтгаан
Энгийн HTTP-д тусгайлан бүтээсэн шүүлтүүр зорилтот зам болон User-Agent-ийг харж чадна. Гэсэн ч түүнд дүрмийн бодит хэрэгжилт, холбогдох robots файлыг татах, кэшлэх, шинэчлэх тодорхой бодлого хэрэгтэй. Хэдэн Disallow мөрийг статик хаягийн хориг болгох нь бүрэн протокол биш.
Энгийн CONNECT-ээр HTTPS явах үед урд чиглэлийн прокси туннелийн очих газрыг хардаг, шифрлэгдсэн хуудас бүрийн зам болон дотоод User-Agent-ийг биш. Өөр зориудын зохион байгуулалт өгөхгүй л бол замын түвшний robots шийдвэрт шаардлагатай мэдээлэл түүнд дутагдана.
Гарах хаягийг солих нь хориглосон замыг зөвшөөрөгдсөн зам болгохгүй. Crawler-ийн үйл ажиллагааг хуваалцдаг ажилчдын хооронд хурдыг зохицуулаарай; маршрутыг эргүүлэх нь тэр бодлогыг орлохгүй.
Эцэст нь, robots дүрэм нь нэвтрэх зөвшөөрөл биш. Зөвшөөрөгдсөн зам нь баталгаажуулалт эсвэл сайтын бусад нэвтрэх шаардлагыг хүчингүй болгохгүй бөгөөд нийтийн robots файл хувийн агуулгыг хамгаалахгүй.