Hadoop DistCp: configurarea proxy-ului S3A pe sarcinile workerilor

Pentru conectorul S3A din Hadoop 3.4.2 printr-un proxy HTTP, îmbinați aceste intrări în configurația Hadoop a operației, de obicei core-site.xml corespunzător:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Pentru un test autorizat independent împotriva unui endpoint S3 accesibil public fără acreditări de proxy configurate, lista de proxy-uri HTTP oferă valori candidate pentru numele gazdă și portul explicit. fs.s3a.proxy.ssl.enabled=false selectează o conexiune HTTP simplă către acest proxy; nu dezactivează TLS între S3A și S3. Folosiți valoarea potrivită cu listenerul real al proxy-ului.

Verificați ambii consumatori. Clientul care trimite poate lista S3 cu succes, în timp ce containerele sarcinilor map din DistCp nu pot ajunge la proxy și nu pot încărca aceeași configurație de sistem de fișiere. Acele sarcini efectuează transferurile.

Pentru o sarcină eșuată, păstrați gazda de execuție, configurația efectivă și endpointul ales împreună cu eroarea. Mediul shell-ului de trimitere nu este o dovadă suficientă pentru un worker.

Aceste setări guvernează s3a://. Rețetele vechi ale conectorului Jets3t configurează altă implementare și nu înlocuiesc opțiunile S3A folosite de această lucrare.