Håndhever en videresendende proxy robots.txt for en crawler?

Når en crawler får en HTTP-proxy, endres måten forespørslene når nettstedet på. Det gjør ikke at proxyen henter robots.txt, velger crawlerens regelgruppe eller planlegger forespørslene høflig.

Robots Exclusion Protocol beskriver regler for crawlere. Det dekker matching, feil ved henting, omdirigeringer og cacheatferd. En proxy som bare sender det forespurte dokumentet videre, har ikke implementert den policyen på crawlerens vegne.

Hold regelavgjørelsen tett på forespørselskøen til crawleren. Der er den tiltenkte identiteten, mål-URI-en og planleggingstilstanden tilgjengelig før arbeid sendes ut.

Derfor er et filter på proxy-siden vanskeligere enn det høres

For vanlig HTTP kan et spesialbygget filter se målstien og User-Agent. Det trenger fortsatt en reell regelimplementering og en fastlagt policy for å hente, mellomlagre og oppdatere den gjeldende robots-filen. Å gjøre noen få Disallow-linjer om til statiske adressesperrer er ikke hele protokollen.

For HTTPS via vanlig CONNECT ser den videresendende proxyen tunnelens mål i stedet for stien til hver krypterte side og den indre User-Agent. Den mangler opplysningene som trengs for robots-avgjørelser på stinivå, med mindre en annen bevisst ordning skaffer dem.

Å bytte utgangsadresse gjør heller ikke en forbudt sti tillatt. Koordiner takten mellom arbeidere som deler crawlerens aktivitet; ruterotasjon er ikke en erstatning for den policyen.

Endelig er robots-regler ikke tilgangsautorisasjon. En tillatt sti overstyrer ikke autentisering eller nettstedets øvrige tilgangskrav, og en offentlig robots-fil sikrer ikke privat innhold.