Hadoop DistCp: ຕັ້ງຄ່າ proxy S3A ໃນວຽກຂອງ worker

ສຳລັບ connector S3A ຂອງ Hadoop 3.4.2 ຜ່ານ proxy HTTP, ໃຫ້ລວມລາຍການເຫຼົ່ານີ້ເຂົ້າໃນການຕັ້ງຄ່າ Hadoop ຂອງການດຳເນີນງານ, ໂດຍປົກກະຕິແມ່ນ core-site.xml ທີ່ກ່ຽວຂ້ອງ:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

ສຳລັບການທົດສອບທີ່ໄດ້ຮັບອະນຸຍາດແຍກຕ່າງຫາຈຸດປາຍ S3 ທີ່ເຂົ້າເຖິງໄດ້ສາທາລະນະ ໂດຍບໍ່ມີຂໍ້ມູນຢືນຢັນ proxy, ລາຍຊື່ proxy HTTP ໃຫ້ຄ່າຕົວແທນສຳລັບຊື່ໂຮສ ແລະ ພອດທີ່ຊັດເຈນ. fs.s3a.proxy.ssl.enabled=false ເລືອກການເຊື່ອມຕໍ່ HTTP ທຳມະດາໄປຫາ proxy ນີ້; ມັນບໍ່ໄດ້ປິດ TLS ຈາກ S3A ໄປ S3. ໃຊ້ຄ່າທີ່ກົງກັບ listener ຂອງ proxy ຕົວຈິງ.

ກວດສອບຜູ້ໃຊ້ທັງສອງ. client ທີ່ສົ່ງອາດຈະລາຍຊື່ S3 ໄດ້ສຳເລັດ ໃນຂະນະທີ່ container ຂອງ map task ໃນ DistCp ບໍ່ສາມາດເຂົ້າເຖິງ proxy ຫຼື ໂຫຼດການຕັ້ງຄ່າລະບົບໄຟລ໌ດຽວກັນໄດ້. task ເຫຼົ່ານັ້ນເປັນຜູ້ເຮັດການໂອນ.

ສຳລັບ task ທີ່ລົ້ມເຫລວ, ໃຫ້ເກັບໂຮສທີ່ປະຕິບັດ, ການຕັ້ງຄ່າທີ່ມີຜົນ ແລະ ຈຸດປາຍທີ່ເລືອກ ພ້ອມກັບຂໍ້ຜິດພາດ. ສະພາບແວດລ້ອມຂອງ shell ທີ່ສົ່ງບໍ່ພຽງພໍເປັນຫຼັກຖານສຳລັບ worker.

ການຕັ້ງຄ່າເຫຼົ່ານີ້ຄຸມ s3a://. ສູດ connector Jets3t ເກົ່າຕັ້ງຄ່າການຈັດຕັ້ງອື່ນ ແລະ ບໍ່ໄດ້ທົດແທນຕົວເລືອກ S3A ທີ່ວຽກນີ້ໃຊ້.