Hadoop DistCp: sanidi proksi ya S3A kwenye kazi za wafanyakazi

Sanidi proksi ya kiunganishi S3A cha Hadoop na ufanye usanidi upatikane mahali ambapo wafanyakazi wa DistCp hufanya uhamishaji wao.

Kwa kiunganishi S3A cha Hadoop 3.4.2 kupitia proksi ya HTTP, unganisha maingizo haya kwenye usanidi wa Hadoop wa operesheni, kwa kawaida core-site.xml inayofaa:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Kwa jaribio lililoidhinishwa kwa njia huru dhidi ya kituo cha S3 kinachofikika kwa umma bila vitambulisho vya proksi, orodha ya proksi za HTTP hutoa thamani zinazowezekana kwa jina la mwenyeji na bandari dhahiri. fs.s3a.proxy.ssl.enabled=false huchagua muunganisho wa kawaida wa HTTP kwenda kwenye proksi hii; hauzimi TLS kutoka S3A kwenda S3. Tumia thamani inayolingana na msikilizaji halisi wa proksi.

Angalia watumiaji wote wawili. Mteja anayewasilisha anaweza kuorodhesha S3 kwa mafanikio wakati kontena za kazi za ramani za DistCp haziwezi kufikia proksi au kupakia usanidi huo wa mfumo wa faili. Ni kazi hizo zinazofanya uhamishaji.

Kwa kazi iliyoshindwa, hifadhi mwenyeji wa utekelezaji, usanidi unaotumika na kituo kilichochaguliwa pamoja na hitilafu. Mazingira ya ganda la kuwasilisha hayatoshi kuwa ushahidi kwa mfanyakazi.

Mipangilio hii inasimamia s3a://. Mapishi ya zamani ya kiunganishi cha Jets3t husanidi utekelezaji mwingine na hayabadilishi chaguo za S3A zinazotumiwa na kazi hii.

Makala zinazohusiana