Erzwéngt e Forward-Proxy robots.txt fir e Crawler?
Halt d'robots-Politik am Crawler a verstinn d'Grenze vun hirer Ëmsetzung an engem Forwarding-Proxy.
Engem Crawler en HTTP-Proxy ze ginn ännert de Wee, wéi seng Ufroen op d'Websäit kommen. Et bréngt de Proxy awer net dozou, robots.txt ofzeruffen, d'Regelgrupp vum Crawler auszewielen oder seng Ufroen héiflech anzeplangen.
Den Robots Exclusion Protocol beschreift Regelen fir Crawler. En ëmfaasst d'Iwwereneestëmmung, Feeler beim Ofruff, Ëmleedungen an d'Verhalen vum Cache. En Proxy, deen nëmmen dat ugefrot Dokument weidergëtt, huet déi Politik net am Numm vum Crawler ëmgesat.
Halt d'Regelentscheedung no bei der Ufroeschlaang vum Crawler. Do sinn d'beabsichtegt Identitéit, d'Zil-URI an de Plange-Zoustand disponibel, ier Aarbecht geschéckt gëtt.
Firwat e Filter op der Proxysäit méi schwéier ass wéi et kléngt
Bei einfachem HTTP kann e speziell gebaute Filter den Zilwee an den User-Agent gesinn. En brauch awer ëmmer nach eng richteg Regelëmsetzung an eng festgeluecht Politik fir déi gëlteg robots-Datei ofzeruffen, ze cache an ze aktualiséieren. E puer Disallow-Linnen a statesch Adressblocken ëmzewandelen ass net de ganze Protokoll.
Bei HTTPS iwwer gewéinlech CONNECT gesäit de Forward-Proxy den Tunnelzil, net de Wee vun all verschlësselter Säit an den bannenzege User-Agent. Et feelt him d'Informatioun fir robots-Entscheedungen op Weeniveau, ausser eng aner bewosst Ariichtung liwwert se.
D'Ännerung vun der Ausgangsadress mécht och keen verbuedene Wee zu engem erlaabten. Koordinéiert den Tempo tëscht de Mataarbechter, déi d'Aktivitéit vum Crawler deelen; d'Routen ze wiesselen ersetzt déi Politik net.
Schlussendlech sinn robots-Reegelen keng Zougangsautorisatioun. En erlaabten Wee hieft weder d'Authentifikatioun nach aner Zougangsfuerderunge vun der Säit op, an eng ëffentlech robots-Datei séchert kee private Contenu.