Hadoop DistCp: конфигурација S3A проксија на радничким задацима

Конфигуришите прокси Hadoop S3A конектора и учините конфигурацију доступном тамо где DistCp радници обављају преносе.

За S3A конектор Hadoop 3.4.2 кроз HTTP прокси, спојите ове уносе у Hadoop конфигурацију операције, обично одговарајући core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

За засебно одобрен тест према јавно доступној S3 крајњој тачки без прокси акредитива, списак HTTP проксија даје кандидатске вредности за име хоста и експлицитни порт. fs.s3a.proxy.ssl.enabled=false бира обичну HTTP везу са овим проксијем; не искључује TLS између S3A и S3. Користите вредност која одговара стварном прокси серверу.

Проверите оба потрошача. Клијент који предаје може успешно излистати S3, док контејнери DistCp map задатака не могу достићи прокси нити учитати исту конфигурацију датотечног система. Ти задаци обављају преносе.

За неуспели задатак сачувајте хост извршавања, важећу конфигурацију и изабрану крајњу тачку уз грешку. Окружење љуске за предају није довољан доказ за радника.

Ове поставке уређују s3a://. Старији рецепти за Jets3t конектор конфигуришу другу имплементацију и не замењују S3A опције које користи овај посао.

Повезани чланци