Hadoop DistCp: ishchi vazifalarida S3A proksisini sozlash

Hadoop 3.4.2 ning S3A ulagichi uchun HTTP proksi orqali ushbu yozuvlarni operatsiyaning Hadoop sozlamalariga, odatda tegishli core-site.xml ga qo'shing:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Proksi hisob ma'lumotlarisiz ommaviy ochiq S3 so'nggi nuqtasiga qarshi alohida ruxsat etilgan sinov uchun HTTP proksilar ro'yxati xost nomi va aniq port uchun nomzod qiymatlarni taqdim etadi. fs.s3a.proxy.ssl.enabled=false bu proksiga oddiy HTTP ulanishni tanlaydi; u S3A dan S3 ga TLS ni o'chirmaydi. Haqiqiy proksi tinglovchisiga mos qiymatdan foydalaning.

Ikkala iste'molchini ham tekshiring. Yuboruvchi mijoz S3 ni muvaffaqiyatli ro'yxatga olishi mumkin, ammo DistCp xarita-vazifa konteynerlari proksiga yeta olmaydi yoki bir xil fayl tizimi sozlamalarini yuklay olmaydi. Uzatishlarni aynan shu vazifalar bajaradi.

Muvaffaqiyatsiz vazifa uchun bajarilish xostini, amaldagi sozlamalarni va tanlangan so'nggi nuqtani xato bilan birga saqlang. Yuborish qobig'ining muhiti ishchi uchun yetarli dalil emas.

Bu sozlamalar s3a:// uchun amal qiladi. Eski Jets3t ulagichi retseptlari boshqa tatbiqni sozlaydi va bu ishda ishlatiladigan S3A parametrlarini almashtirmaydi.