Hadoop DistCp: configurar o proxy S3A nas tarefas dos workers

Para o conector S3A do Hadoop 3.4.2 através de um proxy HTTP, combine estas entradas na configuração Hadoop da operação, normalmente o core-site.xml aplicável:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Para um teste autorizado de forma independente contra um endpoint S3 acessível publicamente sem credenciais de proxy configuradas, a lista de proxies HTTP fornece valores candidatos para o nome do host e a porta explícita. fs.s3a.proxy.ssl.enabled=false seleciona uma conexão HTTP simples com este proxy; não desativa o TLS entre o S3A e o S3. Use o valor correspondente ao listener real do proxy.

Verifique os dois consumidores. O cliente que submete pode listar o S3 com sucesso enquanto os contêineres das tarefas map do DistCp não conseguem alcançar o proxy nem carregar a mesma configuração do sistema de arquivos. São essas tarefas que realizam as transferências.

Para uma tarefa com falha, guarde o host de execução, a configuração efetiva e o endpoint escolhido junto com o erro. O ambiente do shell de submissão não é prova suficiente para um worker.

Estas definições regem s3a://. Receitas antigas do conector Jets3t configuram outra implementação e não substituem as opções S3A usadas por este trabalho.