Hadoop DistCp: konfigurer S3A-proxyen på arbeidsoppgavene

For Hadoop 3.4.2 sin S3A-konnektor via en HTTP-proxy fletter du disse oppføringene inn i operasjonens Hadoop-konfigurasjon, vanligvis den aktuelle core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

For en selvstendig tillatt test mot et offentlig tilgjengelig S3-endepunkt uten konfigurerte proxy-påloggingsdata leverer HTTP-proxyoversikten kandidatverdier for vertsnavn og eksplisitt port. fs.s3a.proxy.ssl.enabled=false velger en vanlig HTTP-forbindelse til denne proxyen; den slår ikke av TLS fra S3A til S3. Bruk verdien som samsvarer med den faktiske proxy-lytteren.

Kontroller begge forbrukerne. Klienten som sender inn kan liste S3 med hell, mens beholdere for DistCp-kartoppgaver ikke når proxyen eller laster den samme filsystemkonfigurasjonen. Det er disse oppgavene som utfører overføringene.

For en mislykket oppgave bør du ta vare på kjøringsverten, den gjeldende konfigurasjonen og det valgte endepunktet sammen med feilen. Miljøet i innsendingsskallet er ikke godt nok bevis for en arbeider.

Disse innstillingene gjelder for s3a://. Eldre oppskrifter for Jets3t-konnektoren konfigurerer en annen implementasjon og erstatter ikke S3A-valgene som denne jobben bruker.