Håndhever en videresendingproxy robots.txt for en crawler?

Å gi en crawler en HTTP-proxy endrer hvordan forespørslene når nettstedet. Det får ikke proxyen til å hente robots.txt, velge crawlerens regelgruppe eller planlegge forespørslene høflig.

Robots Exclusion Protocol beskriver regler for crawlere. Det omfatter matching, feil ved henting, omdirigeringer og cacheatferd. En proxy som bare videresender det forespurte dokumentet, har ikke implementert den policyen på crawlerens vegne.

Hold regelavgjørelsen nær forespørselskøen til crawleren. Det er der den tiltenkte identiteten, mål-URI-en og planleggingstilstanden er tilgjengelig før arbeid sendes.

Hvorfor et filter på proxy-siden er vanskeligere enn det høres ut

For vanlig HTTP kan et spesialbygd filter se målstien og User-Agent. Det trenger likevel en ekte regelimplementasjon og en definert policy for å hente, cache og oppdatere den gjeldende robots-filen. Å gjøre noen få Disallow-linjer om til statiske adresseblokkeringer er ikke hele protokollen.

For HTTPS gjennom vanlig CONNECT ser videresendingproxyen tunnelens destinasjon, ikke stien til hver kryptert side og den indre User-Agent. Den mangler informasjonen som trengs for robots-avgjørelser på stinivå, med mindre en annen bevisst ordning leverer den.

Å bytte utgangsadresse gjør heller ikke en forbudt sti tillatt. Koordiner tempoet mellom arbeidere som deler crawlerens aktivitet; rotasjon av ruter er ikke en erstatning for den policyen.

Til slutt er robots-regler ikke tilgangsautorisasjon. En tillatt sti overstyrer ikke autentisering eller nettstedets andre tilgangskrav, og en offentlig robots-fil sikrer ikke privat innhold.