Hadoop DistCp: set opp S3A-proxyen på arbeidsoppgåver

For S3A-koplinga i Hadoop 3.4.2 gjennom ein HTTP-proxy, flette desse oppføringane inn i Hadoop-oppsettet til operasjonen, vanlegvis den aktuelle core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

For ein sjølvstendig tillaten test mot eit offentleg tilgjengeleg S3-endepunkt utan oppsett proxy-legitimasjon, gjev HTTP-proxylista kandidatverdiar for vertsnamn og eksplisitt port. fs.s3a.proxy.ssl.enabled=false vel ei vanleg HTTP-tilkopling til denne proxyen; det slår ikkje av TLS frå S3A til S3. Bruk verdien som høver med den verkelege proxy-lyttaren.

Kontroller båe forbrukarane. Den innsendande klienten kan liste S3 med suksess, medan behaldarane til DistCp-kartoppgåvene ikkje når proxyen eller lastar det same filsystemoppsettet. Det er desse oppgåvene som gjer overføringane.

For ei mislukka oppgåve, ta vare på køyringsverten, det gjeldande oppsettet og det valde endepunktet saman med feilen. Miljøet i innsendingsskalet er ikkje nok prov for ein arbeidar.

Desse innstillingane styrer s3a://. Eldre oppskrifter for Jets3t-koplinga set opp ei anna implementering og kjem ikkje i staden for S3A-vala som denne jobben brukar.