Hadoop DistCp: stilla S3A milliþjóninn á verkum vinnuþræla

Stilltu milliþjón S3A-tengisins í Hadoop og gerðu stillinguna aðgengilega þar sem DistCp-vinnuþrælar flytja gögnin.

Fyrir S3A-tengi Hadoop 3.4.2 gegnum HTTP-milliþjón skaltu sameina þessar færslur í Hadoop-stillingu aðgerðarinnar, venjulega viðkomandi core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Fyrir sjálfstætt leyft próf gegn opinberlega aðgengilegum S3-endapunkti án milliþjónsauðkenna býður HTTP-milliþjónalistinn upp á möguleg gildi fyrir hýsilnafn og skýran port. fs.s3a.proxy.ssl.enabled=false velur venjulega HTTP-tengingu við þennan milliþjón; það slökkvir ekki á TLS frá S3A til S3. Notaðu gildið sem passar við raunverulegan milliþjónshlustara.

Athugaðu báða notendurna. Sendandi biðlarinn getur listað S3 með góðum árangri á meðan gámar DistCp-kortsverka komast hvorki að milliþjóninum né hlaða sömu skráarkerfisstillingunni. Það eru þessi verk sem framkvæma flutningana.

Fyrir verk sem mistókst skaltu varðveita keyrsluhýsilinn, gildandi stillingu og valda endapunktinn ásamt villunni. Umhverfi sendingarskeljarinnar er ekki næg sönnun fyrir vinnuþræl.

Þessar stillingar stjórna s3a://. Eldri uppskriftir fyrir Jets3t-tengið stilla aðra útfærslu og koma ekki í stað S3A-valkostanna sem þetta verk notar.

Tengdir greinar