Hadoop DistCp: de S3A-proxy ynstelle op wurknimmertaken

Foar de S3A-ferbining fan Hadoop 3.4.2 fia in HTTP-proxy, foegje dizze ynfieringen ta oan 'e Hadoop-konfiguraasje fan 'e operaasje, meastentiids de oanbelangjende core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Foar in selsstannich tastiene test tsjin in iepenbier berikber S3-einpunt sûnder proxy-lynrjochten leveret de HTTP-proxylist kandidaatwearden foar de hostnamme en eksplisite poarte. fs.s3a.proxy.ssl.enabled=false kiest in gewoane HTTP-ferbining nei dizze proxy; it skeakelet TLS fan S3A nei S3 net út. Brûk de wearde dy't by de eigentlike proxy-tsjinner past.

Kontrolearje beide brûkers. De ynstjoerende klant kin S3 wol listigje, wylst containers fan DistCp-kaarttaken de proxy net berikke kinne of deselde bestânsysteemkonfiguraasje net lade kinne. Dy taken dogge de oerdrachten.

Foar in mislearre taak, bewarje de útfierhost, de jildende konfiguraasje en it keazen einpunt tegearre mei de flater. De omjouwing fan 'e ynstjoerskel is foar in wurknimmer net genôch bewiis.

Dizze ynstellingen behearskje s3a://. Aldere resepten foar de Jets3t-ferbining konfigurearje in oare ymplemintaasje en ferfange de S3A-opsjes dy't dit wurk brûkt net.