พร็อกซีแบบส่งต่อบังคับใช้ robots.txt สำหรับ crawler หรือไม่

การให้พร็อกซี HTTP แก่ crawler เปลี่ยนวิธีที่คำขอของมันไปถึงเว็บไซต์ แต่ไม่ได้ทำให้พร็อกซีไปดึง robots.txt เลือกกลุ่มกฎของ crawler หรือจัดตารางคำขอของมันอย่างสุภาพ

Robots Exclusion Protocol อธิบายกฎสำหรับ crawler รวมถึงการจับคู่ ความล้มเหลวในการดึง การเปลี่ยนเส้นทาง และพฤติกรรมของแคช พร็อกซีที่เพียงส่งต่อเอกสารที่ถูกขอไม่ได้ใช้นโยบายนั้นในนามของ crawler

เก็บการตัดสินใจเรื่องกฎไว้ใกล้คิวคำขอของ crawler ที่นั่นมีตัวตนที่ตั้งใจ URI เป้าหมาย และสถานะการจัดตารางพร้อมใช้ก่อนส่งงานออกไป

ทำไมการกรองฝั่งพร็อกซีจึงยากกว่าที่ฟังดู

สำหรับ HTTP ธรรมดา ตัวกรองที่สร้างขึ้นเป็นพิเศษอาจเห็นเส้นทางเป้าหมายและ User-Agent แต่ก็ยังต้องมีการใช้งานกฎจริงและนโยบายที่ชัดเจนสำหรับการดึง แคช และอัปเดตไฟล์ robots ที่เกี่ยวข้อง การแปลงคำสั่ง Disallow สองสามบรรทัดเป็นบล็อกที่อยู่แบบคงที่ไม่ใช่โปรโตคอลทั้งหมด

สำหรับ HTTPS ผ่าน CONNECT ธรรมดา พร็อกซีส่งต่อเห็นปลายทางของอุโมงค์ ไม่ใช่เส้นทางของแต่ละหน้าที่เข้ารหัสและ User-Agent ภายใน ขาดข้อมูลที่จำเป็นต่อการตัดสินใจ robots ระดับเส้นทาง เว้นแต่มีกลไกอื่นที่จงใจจัดหาให้

การเปลี่ยนที่อยู่ขาออกก็ไม่ได้ทำให้เส้นทางที่ห้ามกลายเป็นเส้นทางที่อนุญาต ประสานจังหวะระหว่างผู้ทำงานที่แบ่งปันกิจกรรมของ crawler การหมุนเส้นทางไม่ใช่สิ่งที่แทนนโยบายนั้น

สุดท้าย กฎ robots ไม่ใช่การอนุญาตให้เข้าถึง เส้นทางที่อนุญาตไม่ได้แทนที่การยืนยันตัวตนหรือข้อกำหนดการเข้าถึงอื่นของไซต์ และไฟล์ robots สาธารณะไม่ได้ป้องกันเนื้อหาส่วนตัว