Hadoop DistCp: تهيئة وكيل S3A في مهام العمال

لموصّل S3A في Hadoop 3.4.2 عند المرور عبر وكيل HTTP، أضف هذه المدخلات إلى تهيئة Hadoop الخاصة بالعملية، وعادةً ملف core-site.xml المناسب:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

لاختبار مسموح به بشكل مستقل مقابل نقطة نهاية S3 متاحة للعموم دون بيانات اعتماد للوكيل، تقدّم قائمة وكلاء HTTP قيمًا مرشحة لاسم المضيف والمنفذ الصريح. يختار fs.s3a.proxy.ssl.enabled=false اتصال HTTP عاديًا بهذا الوكيل؛ وهو لا يعطّل TLS بين S3A وS3. استخدم القيمة المطابقة لمستمع الوكيل الفعلي.

افحص كلا المستهلكين. قد ينجح عميل الإرسال في سرد S3 بينما لا تستطيع حاويات مهام الخرائط في DistCp الوصول إلى الوكيل أو تحميل تهيئة نظام الملفات نفسها. تلك المهام هي التي تنفّذ عمليات النقل.

بالنسبة لمهمة فاشلة، احتفظ بمضيف التنفيذ والتهيئة الفعلية ونقطة النهاية المختارة مع الخطأ. بيئة صدفة الإرسال ليست دليلًا كافيًا بالنسبة للعامل.

تحكم هذه الإعدادات s3a://. وصفات موصّل Jets3t الأقدم تهيّئ تنفيذًا آخر ولا تُغني عن خيارات S3A المستخدمة في هذه المهمة.