Hadoop DistCp: S3A tarpinio serverio konfigūravimas darbuotojo užduotyse

Sukonfigūruokite Hadoop S3A jungties tarpinį serverį ir užtikrinkite, kad konfigūracija būtų prieinama ten, kur DistCp darbuotojai atlieka perdavimus.

Hadoop 3.4.2 S3A jungčiai per HTTP tarpinį serverį sujunkite šiuos įrašus į operacijos Hadoop konfigūraciją, paprastai atitinkamą core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Savarankiškai leidžiamam bandymui su viešai pasiekiamu S3 galiniu tašku be tarpinio serverio prisijungimo duomenų HTTP tarpinių serverių sąrašas pateikia galimas reikšmes mazgo vardui ir aiškiam prievadui. fs.s3a.proxy.ssl.enabled=false pasirenka paprastą HTTP ryšį su šiuo tarpiniu serveriu; jis neišjungia TLS tarp S3A ir S3. Naudokite reikšmę, atitinkančią tikrąjį tarpinio serverio klausytoją.

Patikrinkite abu vartotojus. Siunčiantis klientas gali sėkmingai išvardyti S3, o DistCp žemėlapio užduočių konteineriai negali pasiekti tarpinio serverio ar įkelti tos pačios failų sistemos konfigūracijos. Perdavimus atlieka būtent tos užduotys.

Nepavykusiai užduočiai išsaugokite vykdymo mazgą, galiojančią konfigūraciją ir pasirinktą galinį tašką kartu su klaida. Siuntimo apvalkalo aplinka nėra pakankamas įrodymas darbuotojui.

Šie nustatymai galioja s3a://. Senesni Jets3t jungties receptai konfigūruoja kitą įgyvendinimą ir nepakeičia S3A parinkčių, kurias naudoja šis darbas.

Susiję straipsniai