Hadoop DistCp: ажилчдын даалгаварт S3A проксийг тохируулах

Hadoop 3.4.2-ын S3A холбогчийг HTTP проксигоор ашиглахын тулд эдгээр бичлэгийг үйлдлийн Hadoop тохиргоонд, ихэвчлэн холбогдох core-site.xml-д нэгтгэнэ үү:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Проксигоор нэвтрэх мэдээлэлгүйгээр нийтэд нээлттэй S3 төгсгөлийн цэг рүү тусдаа зөвшөөрөгдсөн туршилт хийхэд HTTP прокси жагсаалт хостын нэр болон тодорхой портын боломжит утгыг өгдөг. fs.s3a.proxy.ssl.enabled=false энэ прокси руу энгийн HTTP холболт сонгоно; энэ нь S3A-аас S3 руу TLS-ийг унтраахгүй. Бодит прокси сонсогчид тохирох утгыг ашиглана уу.

Хоёр хэрэглэгчийг шалгана уу. Илгээгч клиент S3-ыг амжилттай жагсааж болох боловч DistCp-ийн map даалгаврын контейнерууд проксид хүрч чадахгүй эсвэл ижил файлын системийн тохиргоог ачаалж чадахгүй байж болно. Шилжүүлэгийг яг эдгээр даалгавар гүйцэтгэдэг.

Амжилтгүй даалгаврын хувьд гүйцэтгэх хост, хүчин төгөлдөр тохиргоо, сонгосон төгсгөлийн цэгийг алдааны хамт хадгална уу. Илгээх shell-ийн орчин ажилчинд хангалттай нотолгоо болохгүй.

Эдгээр тохиргоо s3a://-д хамаарна. Jets3t холбогчийн хуучин жорууд өөр хэрэгжүүлэлтийг тохируулдаг бөгөөд энэ ажилд ашигласан S3A сонголтыг орлохгүй.