Kas edastav puhverserver rakendab roomaja jaoks robots.txt-i?
Hoidke robots-poliitika roomajas endas ja mõistke selle rakendamise piire edastavas puhverserveris.
HTTP-puhverserveri andmine roomajale muudab seda, kuidas tema päringud veebisaidini jõuavad. See ei pane puhverserverit robots.txt-i tooma, roomaja reeglirühma valima ega tema päringuid viisakalt ajastama.
Robots Exclusion Protocol kirjeldab roomajate reegleid. See hõlmab sobitamist, toomise tõrkeid, ümbersuunamisi ja vahemälu käitumist. Puhverserver, mis lihtsalt edastab soovitud dokumendi, ei ole seda poliitikat roomaja nimel rakendanud.
Hoidke reegliotsus roomaja päringujärjekorra lähedal. Just seal on enne töö saatmist kättesaadavad kavatsetud identiteet, siht-URI ja ajastuse olek.
Miks puhverserveri poolne filter on keerulisem, kui tundub
Tavalise HTTP puhul võib spetsiaalselt ehitatud filter näha sihtteed ja User-Agenti. Tal on siiski vaja tõelist reeglite rakendust ja määratletud poliitikat asjakohase robots-faili toomiseks, vahemällu salvestamiseks ja uuendamiseks. Mõne Disallow-rea muutmine staatilisteks aadressiblokkideks ei ole kogu protokoll.
HTTPS-i puhul tavalise CONNECT kaudu näeb edastav puhverserver tunneli sihtkohta, mitte iga krüpteeritud lehe teed ja sisemist User-Agenti. Tal puudub tee tasandil robots-otsuste jaoks vajalik teave, kui mõni muu teadlik korraldus seda ei anna.
Väljuva aadressi muutmine ei muuda keelatud teed lubatuks. Koordineeri tempot töötajate vahel, kes jagavad roomaja tegevust; marsruutide pööramine ei asenda seda poliitikat.
Lõpuks ei ole robots-reeglid juurdepääsuluba. Lubatud tee ei tühista autentimist ega saidi muid juurdepääsunõudeid ning avalik robots-fail ei kaitse privaatset sisu.