Proxy chuyển tiếp có thực thi robots.txt cho trình thu thập không?
Giữ chính sách robots trong trình thu thập và hiểu giới hạn khi thực thi nó tại proxy chuyển tiếp.
Cấp một proxy HTTP cho trình thu thập sẽ thay đổi cách các yêu cầu của nó đến được trang web. Nhưng điều đó không khiến proxy tải robots.txt, chọn nhóm quy tắc của trình thu thập hay lên lịch các yêu cầu một cách lịch sự.
Robots Exclusion Protocol mô tả các quy tắc dành cho trình thu thập. Nó bao gồm việc khớp, lỗi khi tải, chuyển hướng và hành vi của bộ nhớ đệm. Một proxy chỉ chuyển tiếp tài liệu được yêu cầu thì chưa triển khai chính sách đó thay cho trình thu thập.
Hãy giữ quyết định về quy tắc gần hàng đợi yêu cầu của trình thu thập. Đó là nơi danh tính dự kiến, URI đích và trạng thái lập lịch có sẵn trước khi công việc được gửi đi.
Vì sao lọc ở phía proxy khó hơn vẻ ngoài của nó
Với HTTP thường, một bộ lọc được dựng riêng có thể thấy đường dẫn đích và User-Agent. Tuy vậy nó vẫn cần một cách triển khai quy tắc thực sự và một chính sách xác định cho việc tải, lưu đệm và cập nhật tệp robots áp dụng. Việc biến vài dòng Disallow thành các khối chặn địa chỉ tĩnh không phải là toàn bộ giao thức.
Với HTTPS qua CONNECT thông thường, proxy chuyển tiếp thấy đích của đường hầm chứ không thấy đường dẫn của từng trang đã mã hóa và User-Agent bên trong. Nó thiếu thông tin cần cho các quyết định robots ở cấp đường dẫn, trừ khi một cơ chế có chủ đích khác cung cấp.
Đổi địa chỉ ra cũng không biến một đường dẫn bị cấm thành được phép. Hãy phối hợp nhịp độ giữa các worker chia sẻ hoạt động của trình thu thập; luân chuyển tuyến không thay thế chính sách đó.
Cuối cùng, quy tắc robots không phải là quyền truy cập. Một đường dẫn được phép không vượt qua xác thực hay các yêu cầu truy cập khác của trang, và tệp robots công khai không bảo vệ nội dung riêng tư.