Ĉu antaŭa prokurilo plenumas robots.txt por rampulo?
Tenu la robots-politikon en la rampulo kaj komprenu la limojn de ĝia plenumado ĉe antaŭa prokurilo.
Doni HTTP-prokurilon al rampulo ŝanĝas kiel ĝiaj petoj atingas la retejon. Ĝi tamen ne igas la prokurilon elŝuti robots.txt, elekti la regulgrupon de la rampulo aŭ ĝentile plani ĝiajn petojn.
La Robots Exclusion Protocol priskribas regulojn por rampuloj. Ĝi inkluzivas kongruadon, malsukcesojn de elŝuto, alidirektigojn kaj kaŝmemoran konduton. Prokurilo, kiu simple plusendas la petitan dokumenton, ne realigis tiun politikon nome de la rampulo.
Tenu la reguldecidon proksime al la petovico de la rampulo. Ĝuste tie disponeblas la celata identeco, la celadreso kaj la plana stato antaŭ ol sendi laboron.
Kial filtrilo ĉe la prokurila flanko estas pli malfacila ol ĝi sonas
Por simpla HTTP speciale konstruita filtrilo povas vidi la celan vojon kaj la User-Agent. Ĝi tamen bezonas veran regulrealigon kaj difinitan politikon por elŝuti, kaŝmemorigi kaj ĝisdatigi la koncernan robots-dosieron. Transformi kelkajn Disallow-liniojn en senmovajn adresajn blokojn ne estas la tuta protokolo.
Por HTTPS tra ordinara CONNECT la antaŭa prokurilo vidas la celon de la tunelo, ne la vojon de ĉiu ĉifrita paĝo kaj la internan User-Agent. Mankas al ĝi la informoj bezonataj por decidoj pri robots je voja nivelo, se alia konscia aranĝo ne provizas ilin.
Ŝanĝi la eliran adreson ankaŭ ne igas malpermesitan vojon permesita. Kunordigu la rapidon inter laborantoj, kiuj dividas la agadon de la rampulo; rotaciado de vojoj ne anstataŭas tiun politikon.
Finfine, robots-reguloj ne estas alira rajtigo. Permesita vojo ne superregas aŭtentikigon aŭ aliajn alirajn postulojn de la retejo, kaj publika robots-dosiero ne sekurigas privatan enhavon.