Ar perdavimo tarpinis serveris taiko robots.txt robotui?
Laikykite robots taisyklę pačiame robočiuje ir supraskite jos vykdymo perdavimo serveryje ribas.
Davus robotui HTTP tarpinį serverį, keičiasi tai, kaip jo užklausos pasiekia svetainę. Tai nepriverčia tarpinio serverio atsisiųsti robots.txt, pasirinkti roboto taisyklių grupės ar mandagiai suplanuoti jo užklausų.
Robots Exclusion Protocol aprašo robotų taisykles. Jis apima atitikimą, atsisiuntimo klaidas, peradresavimus ir podėlio elgseną. Tarpinis serveris, kuris tik perduoda prašomą dokumentą, tos taisyklės neįgyvendino roboto vardu.
Laikykite taisyklės sprendimą arti roboto užklausų eilės. Būtent ten prieš siunčiant darbą prieinama numatyta tapatybė, tikslinis URI ir planavimo būsena.
Kodėl filtras tarpinio serverio pusėje yra sudėtingesnis, nei atrodo
Paprastam HTTP specialiai sukurtas filtras gali matyti tikslinį kelią ir User-Agent. Vis dėlto jam reikia tikro taisyklių įgyvendinimo ir apibrėžtos atsisiuntimo, podėliavimo bei atnaujinimo tvarkos taikomam robots failui. Kelių Disallow eilučių pavertimas statiškais adresų blokais nėra visas protokolas.
HTTPS per įprastą CONNECT atveju perdavimo tarpinis serveris mato tunelio paskirties vietą, o ne kiekvieno užšifruoto puslapio kelią ir vidinį User-Agent. Jam trūksta informacijos, reikalingos robots sprendimams kelio lygmenyje, nebent ją pateiktų kita sąmoninga priemonė.
Išėjimo adreso keitimas taip pat nepakeičia uždrausto kelio leidžiamu. Derinkite tempą tarp darbininkų, kurie dalijasi roboto veikla; maršrutų kaitaliojimas tos taisyklės nepakeičia.
Galiausiai, robots taisyklės nėra prieigos leidimas. Leidžiamas kelias nepanaikina autentifikavimo ar kitų svetainės prieigos reikalavimų, o viešas robots failas neapsaugo privataus turinio.