Hadoop DistCp: กำหนดค่าพร็อกซี S3A บนงานของผู้ปฏิบัติงาน

สำหรับตัวเชื่อมต่อ S3A ของ Hadoop 3.4.2 ที่ผ่านพร็อกซี HTTP ให้รวมรายการเหล่านี้เข้ากับการกำหนดค่า Hadoop ของปฏิบัติการ โดยปกติคือ core-site.xml ที่เกี่ยวข้อง:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

สำหรับการทดสอบที่ได้รับอนุญาตแยกต่างหากกับปลายทาง S3 ที่เข้าถึงได้สาธารณะโดยไม่มีข้อมูลรับรองพร็อกซี รายการพร็อกซี HTTP มีค่าที่เป็นไปได้สำหรับชื่อโฮสต์และพอร์ตที่ระบุชัดเจน fs.s3a.proxy.ssl.enabled=false เลือกการเชื่อมต่อ HTTP ธรรมดาไปยังพร็อกซีนี้ ไม่ได้ปิดใช้งาน TLS จาก S3A ไปยัง S3 ใช้ค่าที่ตรงกับตัวรับฟังพร็อกซีจริง

ตรวจสอบผู้ใช้ทั้งสอง ฝั่งไคลเอนต์ที่ส่งงานอาจแสดงรายการ S3 ได้สำเร็จ ขณะที่คอนเทนเนอร์ของงานแมปใน DistCp ไม่สามารถเข้าถึงพร็อกซีหรือโหลดการกำหนดค่าระบบไฟล์เดียวกันได้ งานเหล่านั้นเป็นผู้ทำการถ่ายโอน

สำหรับงานที่ล้มเหลว ให้เก็บโฮสต์ที่รัน การกำหนดค่าที่มีผล และปลายทางที่เลือกไว้พร้อมกับข้อผิดพลาด สภาพแวดล้อมของเชลล์ที่ส่งงานไม่ใช่หลักฐานที่เพียงพอสำหรับผู้ปฏิบัติงาน

การตั้งค่าเหล่านี้ควบคุม s3a:// สูตรของตัวเชื่อมต่อ Jets3t แบบเก่ากำหนดค่าการทำงานอื่นและไม่ได้ใช้แทนตัวเลือก S3A ที่งานนี้ใช้