Hadoop DistCp: konfigurasikan proksi S3A pada tugas pekerja

Untuk penyambung S3A Hadoop 3.4.2 melalui proksi HTTP, gabungkan entri ini ke dalam konfigurasi Hadoop operasi, biasanya core-site.xml yang berkenaan:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Untuk ujian yang dibenarkan secara berasingan terhadap titik akhir S3 yang boleh dicapai secara awam tanpa kelayakan proksi, senarai proksi HTTP menyediakan nilai calon untuk nama hos dan port eksplisit. fs.s3a.proxy.ssl.enabled=false memilih sambungan HTTP biasa ke proksi ini; ia tidak melumpuhkan TLS daripada S3A ke S3. Gunakan nilai yang sepadan dengan pendengar proksi sebenar.

Periksa kedua-dua pengguna. Klien yang menyerahkan mungkin berjaya menyenaraikan S3 manakala kontena tugas peta DistCp tidak dapat mencapai proksi atau memuatkan konfigurasi sistem fail yang sama. Tugas-tugas itulah yang melakukan pemindahan.

Untuk tugas yang gagal, simpan hos pelaksanaan, konfigurasi berkesan dan titik akhir yang dipilih bersama ralat. Persekitaran shell penyerahan bukan bukti yang cukup untuk pekerja.

Tetapan ini mengawal s3a://. Resipi penyambung Jets3t yang lebih lama mengkonfigurasi pelaksanaan lain dan tidak menggantikan pilihan S3A yang digunakan oleh kerja ini.