Hadoop DistCp: konfigurasikan proksi S3A pada tugas worker

Untuk konektor S3A Hadoop 3.4.2 melalui proksi HTTP, gabungkan entri berikut ke konfigurasi Hadoop operasi, biasanya core-site.xml yang berlaku:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Untuk pengujian yang diizinkan secara terpisah terhadap endpoint S3 yang dapat dijangkau publik tanpa kredensial proksi, daftar proksi HTTP menyediakan nilai kandidat untuk nama host dan port eksplisit. fs.s3a.proxy.ssl.enabled=false memilih koneksi HTTP biasa ke proksi ini; ini tidak menonaktifkan TLS dari S3A ke S3. Gunakan nilai yang sesuai dengan listener proksi sebenarnya.

Periksa kedua konsumen. Klien yang mengirim mungkin berhasil menampilkan S3, sementara kontainer tugas map DistCp tidak dapat menjangkau proksi atau memuat konfigurasi sistem berkas yang sama. Tugas-tugas itulah yang melakukan transfer.

Untuk tugas yang gagal, simpan host eksekusi, konfigurasi efektif, dan endpoint yang dipilih bersama galatnya. Lingkungan shell pengiriman bukan bukti yang cukup bagi seorang worker.

Setelan ini mengatur s3a://. Resep konektor Jets3t yang lebih lama mengonfigurasi implementasi lain dan tidak menggantikan opsi S3A yang dipakai pekerjaan ini.