Håndhæver en forwarding-proxy robots.txt for en crawler?

Når en crawler får en HTTP-proxy, ændres måden, hvorpå dens anmodninger når webstedet. Det får ikke proxyen til at hente robots.txt, vælge crawlerens regelgruppe eller planlægge dens anmodninger høfligt.

Robots Exclusion Protocol beskriver regler for crawlere. Det omfatter matchning, fejl ved hentning, omdirigeringer og cacheadfærd. En proxy, der blot videresender det ønskede dokument, har ikke implementeret den politik på crawlerens vegne.

Hold regelafgørelsen tæt på crawlerens anmodningskø. Det er dér, den tilsigtede identitet, mål-URI'en og planlægningstilstanden er tilgængelig, før arbejde sendes af sted.

Hvorfor et filter på proxy-siden er sværere, end det lyder

For almindelig HTTP kan et specialbygget filter se målstien og User-Agent. Det kræver stadig en rigtig regelimplementering og en defineret politik for at hente, cache og opdatere den relevante robots-fil. At omdanne nogle få Disallow-linjer til statiske adresseblokke er ikke hele protokollen.

For HTTPS gennem almindelig CONNECT ser forwarding-proxyen tunnelens destination frem for hver krypteret sides sti og den indre User-Agent. Den mangler de oplysninger, der er nødvendige for robots-beslutninger på stiniveau, medmindre en anden bevidst ordning leverer dem.

At skifte udgangsadresse gør heller ikke en forbudt sti tilladt. Koordiner tempoet mellem arbejdere, der deler crawlerens aktivitet; rotation af ruter er ikke en erstatning for den politik.

Endelig er robots-regler ikke adgangsautorisation. En tilladt sti tilsidesætter ikke godkendelse eller webstedets andre adgangskrav, og en offentlig robots-fil sikrer ikke privat indhold.