Hadoop DistCp: konfigurera S3A-proxyn på arbetaruppgifter

För Hadoop 3.4.2:s S3A-anslutning via en HTTP-proxy, slå samman dessa poster i operationens Hadoop-konfiguration, vanligtvis den aktuella core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

För ett självständigt tillåtet test mot en offentligt nåbar S3-slutpunkt utan konfigurerade proxyuppgifter tillhandahåller HTTP-proxylistan kandidatvärden för värdnamn och explicit port. fs.s3a.proxy.ssl.enabled=false väljer en vanlig HTTP-anslutning till denna proxy; det inaktiverar inte TLS från S3A till S3. Använd värdet som matchar den faktiska proxy-lyssnaren.

Kontrollera båda konsumenterna. Den inskickande klienten kan lista S3 framgångsrikt medan containrar för DistCp-kartuppgifter inte når proxyn eller läser in samma filsystemskonfiguration. Det är dessa uppgifter som utför överföringarna.

För en misslyckad uppgift, behåll körvärden, gällande konfiguration och vald slutpunkt tillsammans med felet. Miljön i inskickningsskalet är inte tillräckligt bevis för en arbetare.

Dessa inställningar styr s3a://. Äldre recept för Jets3t-anslutningen konfigurerar en annan implementering och ersätter inte de S3A-alternativ som det här jobbet använder.