Hadoop DistCp: configura el proxy S3A a les tasques dels treballadors

Per al connector S3A de Hadoop 3.4.2 a través d'un proxy HTTP, afegiu aquestes entrades a la configuració de Hadoop de l'operació, normalment el core-site.xml corresponent:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Per a una prova permesa de manera independent contra un punt de connexió S3 accessible públicament sense credencials de proxy configurades, la llista de proxys HTTP ofereix valors candidats per al nom d'amfitrió i el port explícit. fs.s3a.proxy.ssl.enabled=false selecciona una connexió HTTP simple a aquest proxy; no desactiva TLS entre S3A i S3. Feu servir el valor que correspongui al veritable escoltador del proxy.

Comproveu tots dos consumidors. El client que envia pot llistar S3 correctament mentre els contenidors de les tasques map de DistCp no poden arribar al proxy ni carregar la mateixa configuració del sistema de fitxers. Són aquestes tasques les que fan les transferències.

Per a una tasca fallida, conserveu l'amfitrió d'execució, la configuració efectiva i el punt de connexió triat amb l'error. L'entorn del shell de submissió no és prou evidència per a un treballador.

Aquestes opcions regeixen s3a://. Les receptes antigues del connector Jets3t configuren una altra implementació i no substitueixen les opcions S3A que fa servir aquesta feina.