Handhaaft een forward-proxy robots.txt voor een crawler?

Een crawler een HTTP-proxy geven verandert hoe zijn verzoeken de website bereiken. Het zorgt er niet voor dat de proxy robots.txt ophaalt, de regelgroep van de crawler kiest of zijn verzoeken beleefd inplant.

Het Robots Exclusion Protocol beschrijft regels voor crawlers. Het omvat overeenkomsten, ophaalfouten, omleidingen en cachegedrag. Een proxy die alleen het opgevraagde document doorgeeft, heeft dat beleid niet namens de crawler geïmplementeerd.

Houd de regelbeslissing dicht bij de verzoekwachtrij van de crawler. Daar zijn de bedoelde identiteit, de doel-URI en de planningsstatus beschikbaar voordat werk wordt verzonden.

Waarom een filter aan de proxykant lastiger is dan het klinkt

Bij gewone HTTP kan een speciaal gebouwd filter het doelpad en de User-Agent zien. Het heeft nog steeds een echte regelimplementatie nodig en een vastgesteld beleid voor het ophalen, cachen en bijwerken van het toepasselijke robots-bestand. Een paar Disallow-regels omzetten in statische adresblokkades is niet het volledige protocol.

Bij HTTPS via gewone CONNECT ziet de forward-proxy de tunnelbestemming, niet het pad van elke versleutelde pagina en de interne User-Agent. Het mist de informatie die nodig is voor robots-beslissingen op padniveau, tenzij een andere bewuste voorziening die levert.

Het wijzigen van het uitgaande adres maakt een verboden pad ook niet toegestaan. Coördineer het tempo tussen workers die de crawleractiviteit delen; routes rouleren is geen vervanging voor dat beleid.

Ten slotte zijn robots-regels geen toegangsautorisatie. Een toegestaan pad gaat niet boven authenticatie of andere toegangseisen van de site, en een openbaar robots-bestand beveiligt geen privé-inhoud.