Hadoop DistCp: កំណត់រចនាសម្ព័ន្ធប្រូកស៊ី S3A នៅលើភារកិច្ចកម្មករ

សម្រាប់ឧបករណ៍ភ្ជាប់ S3A នៃ Hadoop 3.4.2 តាមរយៈប្រូកស៊ី HTTP សូមបញ្ចូលធាតុទាំងនេះទៅក្នុងការកំណត់រចនាសម្ព័ន្ធ Hadoop របស់ប្រតិបត្តិការ ជាធម្មតា core-site.xml ដែលពាក់ព័ន្ធ៖

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

សម្រាប់ការសាកល្បងដែលត្រូវបានអនុញ្ញាតដោយឯករាជ្យទៅនឹងចំណុចបញ្ចប់ S3 ដែលអាចចូលបានជាសាធារណៈដោយគ្មានព័ត៌មានសម្គាល់ប្រូកស៊ី បញ្ជីប្រូកស៊ី HTTP ផ្តល់តម្លៃបេក្ខជនសម្រាប់ឈ្មោះម៉ាស៊ីន និងច្រកច្បាស់លាស់។ fs.s3a.proxy.ssl.enabled=false ជ្រើសរើសការតភ្ជាប់ HTTP ធម្មតាទៅប្រូកស៊ីនេះ។ វាមិនបិទ TLS ពី S3A ទៅ S3 ទេ។ ប្រើតម្លៃដែលត្រូវនឹងអ្នកស្តាប់ប្រូកស៊ីពិតប្រាកដ។

ពិនិត្យអ្នកប្រើប្រាស់ទាំងពីរ។ កម្មវិធីគោលដែលដាក់ស្នើអាចរាយ S3 បានដោយជោគជ័យ ខណៈដែលកុងតឺន័រភារកិច្ចផែនទី DistCp មិនអាចទៅដល់ប្រូកស៊ី ឬផ្ទុកការកំណត់រចនាសម្ព័ន្ធប្រព័ន្ធឯកសារដូចគ្នា។ ភារកិច្ចទាំងនោះជាអ្នកធ្វើការផ្ទេរ។

សម្រាប់ភារកិច្ចដែលបរាជ័យ សូមរក្សាម៉ាស៊ីនប្រតិបត្តិ ការកំណត់រចនាសម្ព័ន្ធដែលមានប្រសិទ្ធភាព និងចំណុចបញ្ចប់ដែលបានជ្រើសរើសជាមួយកំហុស។ បរិស្ថានសែលដាក់ស្នើមិនគ្រប់គ្រាន់ជាភស្តុតាងសម្រាប់កម្មករទេ។

ការកំណត់ទាំងនេះគ្រប់គ្រង s3a://។ រូបមន្តឧបករណ៍ភ្ជាប់ Jets3t ចាស់កំណត់ការអនុវត្តផ្សេង ហើយមិនជំនួសជម្រើស S3A ដែលការងារនេះប្រើទេ។