Erzwingt ein Forward-Proxy robots.txt für einen Crawler?
Behalten Sie die robots-Richtlinie im Crawler und kennen Sie die Grenzen der Durchsetzung in einem Forwarding-Proxy.
Einem Crawler einen HTTP-Proxy zu geben, ändert den Weg seiner Anfragen zur Website. Es führt aber nicht dazu, dass der Proxy robots.txt abruft, die Regelgruppe des Crawlers auswählt oder seine Anfragen höflich einteilt.
Das Robots Exclusion Protocol beschreibt Regeln für Crawler. Es umfasst Abgleich, Abruffehler, Weiterleitungen und Cache-Verhalten. Ein Proxy, der nur das angeforderte Dokument weiterreicht, hat diese Richtlinie nicht im Namen des Crawlers umgesetzt.
Halten Sie die Regelentscheidung nahe an der Anfragewarteschlange des Crawlers. Dort sind die beabsichtigte Identität, die Ziel-URI und der Planungszustand verfügbar, bevor Arbeit gesendet wird.
Warum ein Filter auf Proxy-Seite schwieriger ist, als es klingt
Bei einfachem HTTP kann ein eigens gebauter Filter den Zielpfad und den User-Agent sehen. Er braucht trotzdem eine echte Regelumsetzung und eine festgelegte Richtlinie zum Abrufen, Zwischenspeichern und Aktualisieren der geltenden robots-Datei. Ein paar Disallow-Zeilen in statische Adresssperren zu verwandeln, ist nicht das vollständige Protokoll.
Bei HTTPS über gewöhnliches CONNECT sieht der Forward-Proxy das Tunnelziel statt des Pfads jeder verschlüsselten Seite und des inneren User-Agent. Ihm fehlen die Informationen für robots-Entscheidungen auf Pfadebene, sofern nicht eine andere bewusste Vorkehrung sie liefert.
Auch der Wechsel der Ausgangsadresse macht aus einem verbotenen Pfad keinen erlaubten. Koordinieren Sie das Tempo zwischen Arbeitsprozessen, die die Crawler-Aktivität teilen; rotierende Routen ersetzen diese Richtlinie nicht.
Schließlich sind robots-Regeln keine Zugriffsberechtigung. Ein erlaubter Pfad hebt weder Authentifizierung noch andere Zugriffsanforderungen der Website auf, und eine öffentliche robots-Datei schützt keine vertraulichen Inhalte.