Hadoop DistCp: ۋوركېر ۋەزىپىلىرىدە S3A ۋاكالەتچىسىنى سەپلەش

Hadoop 3.4.2 نىڭ S3A ئۇلىغۇچىسى ئۈچۈن HTTP ۋاكالەتچى ئارقىلىق، بۇ تۈرلەرنى مەشغۇلاتنىڭ Hadoop سەپلىمىسىگە، ئادەتتە مۇناسىۋەتلىك core-site.xml غا قوشۇڭ:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

ۋاكالەتچى ھۆججىتى تەڭشەلمىگەن ئاممىۋى S3 ئاخىرقى نۇقتىسىغا قارىتىلغان ئايرىم رۇخسەت قىلىنغان سىناق ئۈچۈن، HTTP ۋاكالەتچى تىزىملىكى ماشىنا ئىسمى ۋە ئېنىق پورت ئۈچۈن نامزات قىممەتلەرنى تەمىنلەيدۇ. fs.s3a.proxy.ssl.enabled=false بۇ ۋاكالەتچىگە ئاددىي HTTP ئۇلىنىشنى تاللايدۇ؛ S3A دىن S3 كە TLS نى ئىتىۋەتمەيدۇ. ھەقىقىي ۋاكالەتچى ئاڭلىغۇچىغا ماس قىممەتنى ئىشلىتىڭ.

ئىككى ئىشلەتكۈچىنى تەكشۈرۈڭ. تاپشۇرغۇچى خېرىدار S3 نى مۇۋەپپەقىيەتلىك تىزىملىيەلەيدۇ، ئەمما DistCp خەرىتە ۋەزىپىسى كونتېينېرلىرى ۋاكالەتچىگە يېتەلمەيدۇ ياكى ئوخشاش ھۆججەت سىستېمىسى سەپلىمىسىنى يۈكلىيەلمەيدۇ. يۆتكەشنى دەل شۇ ۋەزىپىلەر ئېلىپ بارىدۇ.

مەغلۇپ بولغان ۋەزىپە ئۈچۈن، ئىجرا ماشىنىسى، ئەمەلدىكى سەپلىمە ۋە تاللانغان ئاخىرقى نۇقتىنى خاتالىق بىلەن بىرگە ساقلاڭ. تاپشۇرۇش قېپىنىڭ مۇھىتى ۋوركېر ئۈچۈن يېتەرلىك ئىسپات ئەمەس.

بۇ تەڭشەكلەر s3a:// نى كونترول قىلىدۇ. كونا Jets3t ئۇلىغۇچ ئۇسۇللىرى باشقا ئەمەلىيلەشتۈرۈشنى سەپلەيدۇ ۋە بۇ خىزمەتتە ئىشلىتىلگەن S3A تاللانمىلىرىنىڭ ئورنىنى ئالمايدۇ.