Verkställer en vidarebefordrande proxy robots.txt för en crawler?
Behåll robots-policyn i crawleren och förstå gränserna för att verkställa den i en vidarebefordrande proxy.
Att ge en crawler en HTTP-proxy ändrar hur dess förfrågningar når webbplatsen. Det får inte proxyen att hämta robots.txt, välja crawlerens regelgrupp eller schemalägga förfrågningarna artigt.
Robots Exclusion Protocol beskriver regler för crawlers. Det omfattar matchning, fel vid hämtning, omdirigeringar och cachebeteende. En proxy som bara vidarebefordrar det begärda dokumentet har inte implementerat den policyn på crawlerens vägnar.
Håll regelbeslutet nära crawlerens förfrågningskö. Där finns den avsedda identiteten, mål-URI:n och schemaläggningsstatusen tillgängliga innan arbete skickas.
Varför ett filter på proxy-sidan är svårare än det låter
För vanlig HTTP kan ett specialbyggt filter se målvägen och User-Agent. Det behöver ändå en riktig regelimplementation och en fastställd policy för att hämta, cacha och uppdatera den aktuella robots-filen. Att göra några få Disallow-rader till statiska adressblockeringar är inte hela protokollet.
För HTTPS genom vanlig CONNECT ser den vidarebefordrande proxyen tunnelns mål, inte vägen till varje krypterad sida och den inre User-Agent. Den saknar informationen som behövs för robots-beslut på vägnivå, om inte en annan medveten ordning tillhandahåller den.
Att byta utgångsadress gör inte heller en förbjuden väg tillåten. Samordna takten mellan arbetare som delar crawlerens aktivitet; ruttrotation ersätter inte den policyn.
Slutligen är robots-regler inte behörighet för åtkomst. En tillåten väg åsidosätter inte autentisering eller webbplatsens andra åtkomstkrav, och en offentlig robots-fil skyddar inte privat innehåll.