Hadoop DistCp: konfiguracija S3A proxyja na radničkim zadacima

Konfigurirajte proxy Hadoop S3A konektora i učinite konfiguraciju dostupnom tamo gdje DistCp radnici obavljaju prijenose.

Za S3A konektor Hadoop 3.4.2 kroz HTTP proxy, spojite ove unose u Hadoop konfiguraciju operacije, obično odgovarajući core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Za zasebno odobren test prema javno dostupnoj S3 završnoj točki bez konfiguriranih proxy vjerodajnica, popis HTTP proxyja daje kandidatne vrijednosti za ime hosta i eksplicitni port. fs.s3a.proxy.ssl.enabled=false odabire običnu HTTP vezu prema ovom proxyju; ne isključuje TLS između S3A i S3. Koristite vrijednost koja odgovara stvarnom proxy poslužitelju.

Provjerite oba potrošača. Klijent koji predaje može uspješno izlistati S3, dok kontejneri DistCp map zadataka ne mogu dosegnuti proxy ni učitati istu konfiguraciju datotečnog sustava. Ti zadaci obavljaju prijenose.

Za neuspjeli zadatak sačuvajte host izvršavanja, važeću konfiguraciju i odabranu završnu točku uz pogrešku. Okruženje ljuske za predaju nije dovoljan dokaz za radnika.

Ove postavke uređuju s3a://. Stariji recepti za Jets3t konektor konfiguriraju drugu implementaciju i ne zamjenjuju S3A opcije koje koristi ovaj posao.

Povezani članci