Επιβάλλει ένας διακομιστής προώθησης το robots.txt σε έναν crawler;

Το να δώσετε σε έναν crawler έναν διακομιστή HTTP αλλάζει τον τρόπο με τον οποίο τα αιτήματά του φτάνουν στον ιστότοπο. Δεν κάνει τον διακομιστή να ανακτά το robots.txt, να επιλέγει την ομάδα κανόνων του crawler ή να προγραμματίζει ευγενικά τα αιτήματά του.

Το Robots Exclusion Protocol περιγράφει κανόνες για crawlers. Περιλαμβάνει αντιστοίχιση, αποτυχίες ανάκτησης, ανακατευθύνσεις και συμπεριφορά προσωρινής μνήμης. Ένας διακομιστής που απλώς προωθεί το ζητούμενο έγγραφο δεν έχει εφαρμόσει αυτή την πολιτική για λογαριασμό του crawler.

Κρατήστε την απόφαση κανόνων κοντά στην ουρά αιτημάτων του crawler. Εκεί είναι διαθέσιμα η προβλεπόμενη ταυτότητα, το URI-στόχος και η κατάσταση προγραμματισμού πριν σταλεί η εργασία.

Γιατί ένα φίλτρο στην πλευρά του διακομιστή είναι δυσκολότερο απ' όσο ακούγεται

Στο απλό HTTP ένα φίλτρο ειδικής κατασκευής μπορεί να δει τη διαδρομή-στόχο και το User-Agent. Χρειάζεται ωστόσο πραγματική υλοποίηση κανόνων και καθορισμένη πολιτική για ανάκτηση, προσωρινή αποθήκευση και ενημέρωση του αρχείου robots που εφαρμόζεται. Η μετατροπή λίγων γραμμών Disallow σε στατικούς αποκλεισμούς διευθύνσεων δεν είναι το πλήρες πρωτόκολλο.

Στο HTTPS μέσω συνηθισμένου CONNECT ο διακομιστής προώθησης βλέπει τον προορισμό της σήραγγας, όχι τη διαδρομή κάθε κρυπτογραφημένης σελίδας και το εσωτερικό User-Agent. Του λείπουν οι πληροφορίες για αποφάσεις robots σε επίπεδο διαδρομής, εκτός αν τις παρέχει κάποια άλλη σκόπιμη ρύθμιση.

Η αλλαγή της εξερχόμενης διεύθυνσης επίσης δεν μετατρέπει μια απαγορευμένη διαδρομή σε επιτρεπόμενη. Συντονίστε τον ρυθμό μεταξύ εργατών που μοιράζονται τη δραστηριότητα του crawler· η εναλλαγή διαδρομών δεν υποκαθιστά αυτή την πολιτική.

Τέλος, οι κανόνες robots δεν είναι άδεια πρόσβασης. Μια επιτρεπόμενη διαδρομή δεν υπερισχύει της αυθεντικοποίησης ή άλλων απαιτήσεων πρόσβασης του ιστότοπου, και ένα δημόσιο αρχείο robots δεν προστατεύει ιδιωτικό περιεχόμενο.