Hadoop DistCp: configurar el proxy de S3A en las tareas de los workers

Para el conector S3A de Hadoop 3.4.2 a través de un proxy HTTP, combine estas entradas en la configuración de Hadoop de la operación, normalmente el core-site.xml correspondiente:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Para una prueba autorizada de forma independiente contra un punto de conexión S3 accesible públicamente sin credenciales de proxy configuradas, la lista de proxies HTTP ofrece valores candidatos para el nombre de host y el puerto explícito. fs.s3a.proxy.ssl.enabled=false selecciona una conexión HTTP simple a este proxy; no desactiva TLS entre S3A y S3. Use el valor que coincida con el listener real del proxy.

Compruebe ambos consumidores. El cliente que envía puede listar S3 correctamente mientras los contenedores de las tareas map de DistCp no pueden alcanzar el proxy ni cargar la misma configuración del sistema de archivos. Esas tareas son las que realizan las transferencias.

Para una tarea fallida, conserve el host de ejecución, la configuración efectiva y el punto de conexión elegido junto con el error. El entorno del shell de envío no es prueba suficiente para un worker.

Estos ajustes rigen s3a://. Las recetas antiguas del conector Jets3t configuran otra implementación y no sustituyen las opciones de S3A que usa este trabajo.