Hadoop DistCp: කම්කරු කාර්යයන්හි S3A ප්‍රොක්සි වින්‍යාස කිරීම

HTTP ප්‍රොක්සි හරහා Hadoop 3.4.2 හි S3A සම්බන්ධකය සඳහා, මෙම සටහන් ක්‍රියාවලියේ Hadoop වින්‍යාසයට, සාමාන්‍යයෙන් අදාළ core-site.xml වෙත, ඒකාබද්ධ කරන්න:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

ප්‍රොක්සි අක්තපත්‍ර සකසා නොමැතිව පොදුවේ ළඟා විය හැකි S3 අන්ත ලක්ෂ්‍යයක් සමඟ වෙන වෙනම අවසර ලත් පරීක්ෂණයක් සඳහා, HTTP ප්‍රොක්සි ලැයිස්තුව සත්කාරක නාමය සහ පැහැදිලි වරාය සඳහා අපේක්ෂක අගයන් සපයයි. fs.s3a.proxy.ssl.enabled=false මෙම ප්‍රොක්සියට සරල HTTP සම්බන්ධතාවක් තෝරයි; එය S3A සිට S3 දක්වා TLS අක්‍රීය නොකරයි. සැබෑ ප්‍රොක්සි ශ්‍රාවකයට ගැළපෙන අගය භාවිත කරන්න.

පාරිභෝගිකයන් දෙදෙනාම පරීක්ෂා කරන්න. ඉදිරිපත් කරන සේවාලාභියාට S3 සාර්ථකව ලැයිස්තුගත කළ හැකි වුවද, DistCp සිතියම්-කාර්ය බහාලුම්වලට ප්‍රොක්සියට ළඟා වීමට හෝ එම ගොනු පද්ධති වින්‍යාසය පූරණය කිරීමට නොහැකිය. මාරු කිරීම් සිදු කරන්නේ එම කාර්යයන් ය.

අසාර්ථක කාර්යයක් සඳහා, ක්‍රියාත්මක කිරීමේ සත්කාරකය, බලපැවැත්වෙන වින්‍යාසය සහ තෝරාගත් අන්ත ලක්ෂ්‍යය දෝෂය සමඟ තබා ගන්න. ඉදිරිපත් කිරීමේ ෂෙලයේ පරිසරය කම්කරුවෙකුට ප්‍රමාණවත් සාක්ෂියක් නොවේ.

මෙම සැකසුම් s3a:// පාලනය කරයි. පැරණි Jets3t සම්බන්ධක වට්ටෝරු වෙනත් ක්‍රියාත්මක කිරීමක් වින්‍යාස කරන අතර මෙම කාර්යය භාවිත කරන S3A විකල්ප සඳහා ආදේශකයක් නොවේ.