Hadoop DistCp: د کارګر دندو په S3A پروکسي تنظیمول

د Hadoop S3A نښلونکي پروکسي تنظیم کړئ او هغه ځای ته چې DistCp کارګران خپل لېږدونه ترسره کوي تنظیمات ورسوئ.

د Hadoop 3.4.2 د S3A نښلونکي لپاره چې د HTTP پروکسي له لارې کار کوي، دا ننوتنې د عملیاتو Hadoop تنظیماتو ته، معمولاً اړوند core-site.xml ته، یوځای کړئ:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

د یوې جلا اجازه شوې ازموینې لپاره چې پر یو عامه لاسرسي وړ S3 پای ټکي ترسره کېږي او د پروکسي اسناد نه وي ټاکل شوي، د HTTP پروکسي لېست د کوربه نوم او څرګند پورټ لپاره نوماند ارزښتونه برابروي. fs.s3a.proxy.ssl.enabled=false دې پروکسي ته ساده HTTP اړیکه غوره کوي؛ دا له S3A څخه S3 ته TLS نه بندوي. هغه ارزښت وکاروئ چې له اصلي پروکسي اورېدونکي سره سمون لري.

دواړه مصرفوونکي وګورئ. سپاروونکی کلاینټ کېدای شي S3 په بریالیتوب سره لیست کړي، خو د DistCp د نقشې دندو کانټینرونه نشي کولای پروکسي ته ورسېږي یا هماغه د فایل سیستم تنظیمات بار کړي. هماغه دندې لېږدونه ترسره کوي.

د ناکامه دندې لپاره، د اجرا کوربه، اغېزمن تنظیمات او غوره شوی پای ټکی له تېروتنې سره وساتئ. د سپارلو شل محیط د کارګر لپاره کافي شواهد نه دي.

دا تنظیمات s3a:// کنټرولوي. د Jets3t نښلونکي زاړه لارښوونې بله پلي کونه تنظیموي او د دې کار لخوا کارول شوو S3A اختیارونو بدیل نه دی.

اړوندې مقالې