Hadoop DistCp: konfigurer S3A-proxyen på arbejdsopgaver

For Hadoop 3.4.2's S3A-forbindelse gennem en HTTP-proxy skal du flette disse poster ind i operationens Hadoop-konfiguration, normalt den relevante core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Til en selvstændigt tilladt test mod et offentligt tilgængeligt S3-endepunkt uden konfigurerede proxy-legitimationsoplysninger leverer HTTP-proxylisten kandidatværdier til værtsnavn og eksplicit port. fs.s3a.proxy.ssl.enabled=false vælger en almindelig HTTP-forbindelse til denne proxy; den deaktiverer ikke TLS fra S3A til S3. Brug den værdi, der passer til den faktiske proxy-lytter.

Kontroller begge forbrugere. Den indsendende klient kan liste S3 med succes, mens containere til DistCp-kortopgaver ikke kan nå proxyen eller indlæse den samme filsystemkonfiguration. Det er disse opgaver, der udfører overførslerne.

For en mislykket opgave skal du gemme kørselsværten, den effektive konfiguration og det valgte endepunkt sammen med fejlen. Indsendelsesskallens miljø er ikke tilstrækkeligt bevis for en arbejder.

Disse indstillinger styrer s3a://. Ældre opskrifter til Jets3t-forbindelsen konfigurerer en anden implementering og erstatter ikke de S3A-indstillinger, som dette job bruger.