Hadoop DistCp: konfiguracija proxyja S3A v opravilih delavcev

Konfigurirajte proxy konektorja Hadoop S3A in poskrbite, da bo konfiguracija na voljo tam, kjer delavci DistCp izvajajo prenose.

Za konektor S3A Hadoop 3.4.2 prek proxyja HTTP združite te vnose v konfiguracijo Hadoop operacije, običajno v ustrezni core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Za samostojno dovoljen test proti javno dostopni končni točki S3 brez nastavljenih poverilnic proxyja seznam proxyjev HTTP ponuja kandidatne vrednosti za ime gostitelja in eksplicitna vrata. fs.s3a.proxy.ssl.enabled=false izbere običajno povezavo HTTP s tem proxyjem; ne izklopi TLS med S3A in S3. Uporabite vrednost, ki ustreza dejanskemu poslušalcu proxyja.

Preverite oba porabnika. Odjemalec, ki pošilja, lahko uspešno navede S3, medtem ko vsebniki map opravil DistCp ne morejo doseči proxyja ali naložiti iste konfiguracije datotečnega sistema. Prav ta opravila izvajajo prenose.

Za neuspešno opravilo shranite gostitelja izvajanja, veljavno konfiguracijo in izbrano končno točko skupaj z napako. Okolje lupine za pošiljanje ni zadosten dokaz za delavca.

Te nastavitve veljajo za s3a://. Starejši recepti za konektor Jets3t konfigurirajo drugo izvedbo in ne nadomestijo možnosti S3A, ki jih uporablja to delo.

Sorodni članki