Hadoop DistCp: S3A puhverserveri seadistamine töötaja ülesannetes

Hadoop 3.4.2 S3A pistiku jaoks HTTP-puhverserveri kaudu lisage need kirjed operatsiooni Hadoopi seadistusse, tavaliselt vastavasse core-site.xml faili:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Eraldi lubatud testiks avalikult kättesaadava S3 otspunkti vastu ilma puhverserveri mandaatideta pakub HTTP puhverserverite loend võimalikke väärtusi hostinime ja selgesõnalise pordi jaoks. fs.s3a.proxy.ssl.enabled=false valib selle puhverserveriga lihtsa HTTP-ühenduse; see ei lülita välja TLS-i S3A ja S3 vahel. Kasutage väärtust, mis vastab tegelikule puhverserveri kuulajale.

Kontrollige mõlemat tarbijat. Saatja klient võib S3 edukalt loetleda, samal ajal kui DistCp kaardiülesannete konteinerid ei pääse puhverserverile ligi ega laadi sama failisüsteemi seadistust. Ülekanded teevad just need ülesanded.

Ebaõnnestunud ülesande puhul säilitage täitmishost, kehtiv seadistus ja valitud otspunkt koos veaga. Saatmiskoore keskkond ei ole töötaja jaoks piisav tõend.

Need seaded kehtivad s3a:// kohta. Vanemad Jets3t pistiku retseptid seadistavad teise teostuse ega asenda S3A valikuid, mida see töö kasutab.