Hadoop DistCp: configurar o proxy S3A nas tarefas dos traballadores

Para o conector S3A de Hadoop 3.4.2 a través dun proxy HTTP, combine estas entradas na configuración de Hadoop da operación, normalmente o core-site.xml correspondente:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Para unha proba autorizada de forma independente contra un punto de conexión S3 accesible publicamente sen credenciais de proxy configuradas, a lista de proxies HTTP ofrece valores candidatos para o nome de host e o porto explícito. fs.s3a.proxy.ssl.enabled=false selecciona unha conexión HTTP simple a este proxy; non desactiva TLS entre S3A e S3. Use o valor que corresponda co receptor real do proxy.

Comprobe ambos os consumidores. O cliente que envía pode listar S3 correctamente mentres os contedores das tarefas map de DistCp non poden alcanzar o proxy nin cargar a mesma configuración do sistema de ficheiros. Son esas tarefas as que realizan as transferencias.

Para unha tarefa fallida, conserve o host de execución, a configuración efectiva e o punto de conexión elixido xunto co erro. A contorna da consola de envío non é proba suficiente para un traballador.

Estes axustes rexen s3a://. As receitas antigas do conector Jets3t configuran outra implementación e non substitúen as opcións de S3A que usa este traballo.