Um proxy de encaminhamento aplica robots.txt para um crawler?
Mantenha a política de robots no crawler e entenda os limites de aplicá-la num proxy de encaminhamento.
Dar um proxy HTTP a um crawler muda a forma como os seus pedidos chegam ao site. Não faz com que o proxy obtenha robots.txt, escolha o grupo de regras do crawler ou agende os pedidos com cortesia.
O Robots Exclusion Protocol descreve regras para crawlers. Inclui correspondência, falhas de obtenção, redirecionamentos e comportamento da cache. Um proxy que apenas reencaminha o documento pedido não implementou essa política em nome do crawler.
Mantenha a decisão sobre as regras perto da fila de pedidos do crawler. É aí que a identidade pretendida, o URI de destino e o estado de agendamento estão disponíveis antes de o trabalho ser enviado.
Porque um filtro do lado do proxy é mais difícil do que parece
Em HTTP simples, um filtro feito à medida pode ver o caminho de destino e o User-Agent. Ainda assim precisa de uma implementação real das regras e de uma política definida para obter, armazenar e atualizar o ficheiro robots aplicável. Converter algumas linhas Disallow em bloqueios estáticos de endereços não é o protocolo completo.
Em HTTPS através de CONNECT comum, o proxy de encaminhamento vê o destino do túnel, não o caminho de cada página cifrada nem o User-Agent interno. Falta-lhe a informação necessária às decisões robots ao nível do caminho, salvo se outro arranjo deliberado a fornecer.
Mudar o endereço de saída também não transforma um caminho proibido num caminho permitido. Coordene o ritmo entre os trabalhadores que partilham a atividade do crawler; rodar rotas não substitui essa política.
Por fim, as regras robots não são uma autorização de acesso. Um caminho permitido não se sobrepõe à autenticação nem aos outros requisitos de acesso do site, e um ficheiro robots público não protege conteúdo privado.