Hadoop DistCp: stel die S3A-volmag op werker-take in

Stel die Hadoop S3A-aansluiting se volmag op en maak die konfigurasie beskikbaar waar DistCp-werkers hul oordragte doen.

Vir Hadoop 3.4.2 se S3A-aansluiting deur 'n HTTP-volmag, voeg hierdie inskrywings by die operasie se Hadoop-konfigurasie, gewoonlik die toepaslike core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Vir 'n afsonderlik toegelate toets teen 'n publiek bereikbare S3-eindpunt sonder volmag-aanmeldgegewens, verskaf die HTTP-volmaglys kandidaatwaardes vir die gasheernaam en eksplisiete poort. fs.s3a.proxy.ssl.enabled=false kies 'n gewone HTTP-verbinding na hierdie volmag; dit skakel nie TLS van S3A na S3 af nie. Gebruik die waarde wat by die werklike volmag-luisteraar pas.

Kontroleer albei verbruikers. Die indienende kliënt kan S3 suksesvol lys terwyl DistCp-kaarttaakhouers nie die volmag kan bereik of dieselfde lêerstelselkonfigurasie kan laai nie. Daardie take doen die oordragte.

Vir 'n mislukte taak, hou die uitvoeringsgasheer, die effektiewe konfigurasie en die gekose eindpunt saam met die fout. Die indieningsdop se omgewing is nie genoeg bewys vir 'n werker nie.

Hierdie instellings geld vir s3a://. Ouer Jets3t-aansluitingsresepte stel 'n ander implementering op en vervang nie die S3A-opsies wat hierdie werk gebruik nie.

Verwante artikels