Hadoop DistCp: কৰ্মী টাস্কত S3A প্ৰক্সী কনফিগাৰ কৰক

HTTP প্ৰক্সীৰ জৰিয়তে Hadoop 3.4.2 ৰ S3A সংযোগকৰ্তাৰ বাবে, এই এন্ট্ৰীবোৰ কাৰ্য্যৰ Hadoop কনফিগাৰেশ্বনত, সাধাৰণতে প্ৰযোজ্য core-site.xml ত, যোগ কৰক:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

প্ৰক্সী প্ৰমাণপত্ৰ নথকাকৈ ৰাজহুৱাভাৱে উপলব্ধ S3 এণ্ডপইণ্টৰ বিৰুদ্ধে স্বতন্ত্ৰভাৱে অনুমোদিত পৰীক্ষাৰ বাবে, HTTP প্ৰক্সী তালিকায়ে হ'ষ্টনাম আৰু স্পষ্ট পৰ্টৰ বাবে প্ৰাৰ্থী মান যোগান ধৰে। fs.s3a.proxy.ssl.enabled=false এই প্ৰক্সীলৈ সৰল HTTP সংযোগ বাছনি কৰে; ই S3A ৰ পৰা S3 লৈ TLS নিষ্ক্ৰিয় নকৰে। প্ৰকৃত প্ৰক্সী লিচনাৰৰ সৈতে মিলা মান ব্যৱহাৰ কৰক।

দুয়োটা গ্ৰাহক পৰীক্ষা কৰক। দাখিল কৰা ক্লায়েন্টে S3 সফলভাৱে তালিকাভুক্ত কৰিব পাৰে, কিন্তু DistCp মেপ-টাস্ক কণ্টেইনাৰে প্ৰক্সীত উপনীত হ'ব বা একেই ফাইলচিষ্টেম কনফিগাৰেশ্বন লোড কৰিব নোৱাৰে। সেই টাস্কবোৰেই স্থানান্তৰ চলায়।

ব্যৰ্থ টাস্কৰ বাবে, কাৰ্য্যকৰণ হ'ষ্ট, প্ৰভাৱী কনফিগাৰেশ্বন আৰু নিৰ্বাচিত এণ্ডপইণ্ট ত্ৰুটিৰ সৈতে ৰাখক। দাখিলৰ শ্বেলৰ পৰিৱেশ কৰ্মীৰ বাবে যথেষ্ট প্ৰমাণ নহয়।

এই ছেটিংবোৰে s3a:// নিয়ন্ত্ৰণ কৰে। পুৰণি Jets3t সংযোগকৰ্তাৰ ৰেচিপিয়ে অন্য এটা কাৰ্য্যকৰণ কনফিগাৰ কৰে আৰু এই কাৰ্য্যত ব্যৱহৃত S3A বিকল্পৰ বিকল্প নহয়।