Hadoop DistCp: de S3A-proxy configureren op workertaken

Voor de S3A-connector van Hadoop 3.4.2 via een HTTP-proxy voegt u deze regels samen in de Hadoop-configuratie van de operatie, meestal de betreffende core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Voor een afzonderlijk toegestane test tegen een openbaar bereikbaar S3-eindpunt zonder geconfigureerde proxyreferenties levert de HTTP-proxylijst kandidaatwaarden voor de hostnaam en de expliciete poort. fs.s3a.proxy.ssl.enabled=false kiest een gewone HTTP-verbinding naar deze proxy; het schakelt TLS van S3A naar S3 niet uit. Gebruik de waarde die bij de werkelijke proxy-listener past.

Controleer beide verbruikers. De indienende client kan S3 met succes weergeven, terwijl containers van DistCp-kaarttaken de proxy niet bereiken of dezelfde bestandssysteemconfiguratie niet laden. Die taken voeren de overdrachten uit.

Bewaar bij een mislukte taak de uitvoerhost, de effectieve configuratie en het gekozen eindpunt samen met de fout. De omgeving van de indieningsshell is voor een worker geen voldoende bewijs.

Deze instellingen gelden voor s3a://. Oudere recepten voor de Jets3t-connector configureren een andere implementatie en vervangen de S3A-opties die deze taak gebruikt niet.