ພຣັອກຊີທາງໜ້າບັງຄັບ robots.txt ສຳລັບ crawler ບໍ?

ການໃຫ້ HTTP ພຣັອກຊີແກ່ crawler ປ່ຽນວິທີທີ່ຄຳຮ້ອງຂອງມັນໄປຮອດເວັບໄຊ. ແຕ່ມັນບໍ່ເຮັດໃຫ້ພຣັອກຊີໄປເອົາ robots.txt, ເລືອກກຸ່ມກົດຂອງ crawler ຫຼື ຈັດເວລາຄຳຮ້ອງຂອງມັນຢ່າງສຸພາບ.

Robots Exclusion Protocol ອະທິບາຍກົດສຳລັບ crawler. ມັນລວມການຈັບຄູ່, ຄວາມລົ້ມເຫຼວໃນການເອົາ, ການປ່ຽນທິດ ແລະ ພຶດຕິກຳຂອງແຄັຊ. ພຣັອກຊີທີ່ພຽງແຕ່ສົ່ງຕໍ່ເອກະສານທີ່ຖືກຮ້ອງຂໍ ບໍ່ໄດ້ຈັດຕັ້ງນະໂຍບາຍນັ້ນແທນ crawler.

ເກັບການຕັດສິນກົດໃຫ້ຢູ່ໃກ້ຄິວຄຳຮ້ອງຂອງ crawler. ຢູ່ທີ່ນັ້ນ ຕົວຕົນທີ່ຕັ້ງໃຈ, URI ເປົ້າໝາຍ ແລະ ສະຖານະການຈັດເວລາມີຢູ່ກ່ອນສົ່ງວຽກ.

ເປັນຫຍັງການກັ່ນຕອງທາງຝ່າຍພຣັອກຊີຈຶ່ງຍາກກວ່າທີ່ຟັງ

ສຳລັບ HTTP ທຳມະດາ, ຕົວກັ່ນຕອງທີ່ສ້າງພິເສດອາດເຫັນເສັ້ນທາງເປົ້າໝາຍ ແລະ User-Agent. ແຕ່ມັນຍັງຕ້ອງການການຈັດຕັ້ງກົດທີ່ແທ້ຈິງ ແລະ ນະໂຍບາຍທີ່ກຳນົດໄວ້ສຳລັບການເອົາ, ການເກັບໃນແຄັຊ ແລະ ການອັບເດດໄຟລ໌ robots ທີ່ກ່ຽວຂ້ອງ. ການປ່ຽນສອງສາມແຖວ Disallow ເປັນການສະກັດທີ່ຢູ່ຄົງທີ່ ບໍ່ແມ່ນໂປຣໂຕຄອນທັງໝົດ.

ສຳລັບ HTTPS ຜ່ານ CONNECT ທຳມະດາ, ພຣັອກຊີທາງໜ້າເຫັນປາຍທາງຂອງອຸໂມງ ບໍ່ແມ່ນເສັ້ນທາງຂອງແຕ່ລະໜ້າທີ່ເຂົ້າລະຫັດ ແລະ User-Agent ພາຍໃນ. ມັນຂາດຂໍ້ມູນທີ່ຕ້ອງການສຳລັບການຕັດສິນ robots ໃນລະດັບເສັ້ນທາງ ຍົກເວັ້ນການຈັດການອື່ນທີ່ເຈດຕະນາຈະໃຫ້ມັນ.

ການປ່ຽນທີ່ຢູ່ອອກກໍບໍ່ປ່ຽນເສັ້ນທາງທີ່ຖືກຫ້າມໃຫ້ເປັນເສັ້ນທາງທີ່ອະນຸຍາດ. ປະສານຄວາມໄວລະຫວ່າງຜູ້ດຳເນີນການທີ່ແບ່ງປັນກິດຈະກຳຂອງ crawler; ການໝູນວຽນເສັ້ນທາງບໍ່ແມ່ນການທົດແທນນະໂຍບາຍນັ້ນ.

ສຸດທ້າຍ, ກົດ robots ບໍ່ແມ່ນການອະນຸຍາດເຂົ້າເຖິງ. ເສັ້ນທາງທີ່ອະນຸຍາດບໍ່ໄດ້ຂ້າມການພິສູດຕົວຕົນ ຫຼື ເງື່ອນໄຂການເຂົ້າເຖິງອື່ນໆຂອງເວັບໄຊ, ແລະ ໄຟລ໌ robots ສາທາລະນະບໍ່ໄດ້ປົກປ້ອງເນື້ອຫາສ່ວນຕົວ.