Handhevar ein vidaresendingsproxy robots.txt for ein crawlar?

Å gje ein crawlar ein HTTP-proxy endrar korleis førespurnadene hans når nettstaden. Det får ikkje proxyen til å hente robots.txt, velje regelgruppa til crawlaren eller planleggje førespurnadene hans høfleg.

Robots Exclusion Protocol skildrar reglar for crawlarar. Det omfattar matching, feil ved henting, omdirigeringar og cacheåtferd. Ein proxy som berre sender det førespurde dokumentet vidare, har ikkje implementert den policyen på vegner av crawlaren.

Hald regelavgjerda nær førespurnadskøen til crawlaren. Det er der den tiltenkte identiteten, mål-URI-en og planleggingstilstanden er tilgjengeleg før arbeid blir sendt.

Kvifor eit filter på proxy-sida er vanskelegare enn det høyrest ut

For vanleg HTTP kan eit spesialbygd filter sjå målstien og User-Agent. Det treng likevel ein ekte regelimplementasjon og ein definert policy for å hente, cache og oppdatere den gjeldande robots-fila. Å gjere nokre få Disallow-linjer om til statiske adresseblokkeringar er ikkje heile protokollen.

For HTTPS gjennom vanleg CONNECT ser vidaresendingsproxyen destinasjonen til tunnelen, ikkje stien til kvar kryptert side og den indre User-Agent. Han manglar informasjonen som trengst for robots-avgjerder på stinivå, med mindre ei anna medviten ordning leverer han.

Å byte utgangsadresse gjer heller ikkje ein forboden sti tillaten. Koordiner tempoet mellom arbeidarar som deler crawlaraktiviteten; rotasjon av ruter er ikkje ei erstatning for den policyen.

Til slutt er robots-reglar ikkje tilgangsautorisasjon. Ein tillaten sti overstyrer ikkje autentisering eller andre tilgangskrav på nettstaden, og ei open robots-fil sikrar ikkje privat innhald.