Hadoop DistCp: konfigurisanje S3A proxyja na radničkim zadacima

Konfigurirajte proxy konektora Hadoop S3A i učinite konfiguraciju dostupnom tamo gdje DistCp radnici obavljaju prijenose.

Za S3A konektor Hadoop 3.4.2 kroz HTTP proxy, spojite ove unose u Hadoop konfiguraciju operacije, obično odgovarajući core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Za posebno odobren test prema javno dostupnoj S3 krajnjoj točki bez konfiguriranih proxy vjerodajnica, lista HTTP proxyja daje kandidatske vrijednosti za ime hosta i eksplicitni port. fs.s3a.proxy.ssl.enabled=false odabire običnu HTTP vezu s ovim proxyjem; ne isključuje TLS između S3A i S3. Koristite vrijednost koja odgovara stvarnom proxy poslužitelju.

Provjerite oba potrošača. Klijent koji predaje može uspješno izlistati S3, dok kontejneri DistCp map zadataka ne mogu dosegnuti proxy ni učitati istu konfiguraciju datotečnog sustava. Ti zadaci obavljaju prijenose.

Za neuspjeli zadatak sačuvajte host izvršavanja, važeću konfiguraciju i odabranu krajnju točku uz grešku. Okruženje ljuske za predaju nije dovoljan dokaz za radnika.

Ove postavke uređuju s3a://. Stariji recepti za Jets3t konektor konfiguriraju drugu implementaciju i ne zamjenjuju S3A opcije koje koristi ovaj posao.

Povezani članci