Hadoop DistCp: cấu hình proxy S3A trên các tác vụ worker

Đối với trình kết nối S3A của Hadoop 3.4.2 đi qua proxy HTTP, hãy hợp nhất các mục này vào cấu hình Hadoop của thao tác, thường là core-site.xml tương ứng:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Đối với một bài kiểm thử được cho phép riêng rẽ nhắm tới điểm cuối S3 truy cập công khai mà không có thông tin xác thực proxy, danh sách proxy HTTP cung cấp các giá trị ứng viên cho tên máy chủ và cổng tường minh. fs.s3a.proxy.ssl.enabled=false chọn kết nối HTTP thường tới proxy này; nó không tắt TLS từ S3A tới S3. Hãy dùng giá trị khớp với trình lắng nghe proxy thực tế.

Kiểm tra cả hai phía tiêu thụ. Máy khách gửi có thể liệt kê S3 thành công trong khi các container của tác vụ map DistCp không tiếp cận được proxy hoặc không tải được cùng cấu hình hệ thống tệp. Chính các tác vụ đó thực hiện việc truyền tải.

Với tác vụ thất bại, hãy giữ lại máy chủ thực thi, cấu hình hiệu lực và điểm cuối đã chọn cùng với lỗi. Môi trường của shell gửi không đủ làm bằng chứng cho một worker.

Các thiết lập này chi phối s3a://. Các công thức cũ của trình kết nối Jets3t cấu hình một cách triển khai khác và không thay thế các tùy chọn S3A mà công việc này dùng.