Hadoop DistCp: жумушчу тапшырмаларда S3A проксисин конфигурациялоо

Hadoop 3.4.2 S3A коннектору үчүн HTTP прокси аркылуу бул жазууларды операциянын Hadoop конфигурациясына, адатта тиешелүү core-site.xml файлына кошуңуз:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Проксинин эсептик маалыматтарын конфигурациялабастан, элге жеткиликтүү S3 акыркы чекитине каршы өзүнчө уруксат берилген сыноо үчүн HTTP прокси тизмеси хост аты жана ачык порт үчүн талапкер маанилерди сунуштайт. fs.s3a.proxy.ssl.enabled=false бул проксиге жөнөкөй HTTP байланышын тандайт; ал S3Aдан S3кө TLSди өчүрбөйт. Чыныгы прокси угуучусуна туура келген маанини колдонуңуз.

Эки керектөөчүнү тең текшериңиз. Жөнөтүүчү клиент S3ти ийгиликтүү тизмелей алат, ал эми DistCp карта-тапшырма контейнерлери проксиге жете албайт же ошол эле файлдык система конфигурациясын жүктөй албайт. Өткөрүүнү дал ошол тапшырмалар аткарат.

Ийгиликсиз тапшырма үчүн аткаруу хосту, колдонуудагы конфигурация жана тандалган акыркы чекитти ката менен бирге сактаңыз. Жөнөтүү кабыгынын чөйрөсү жумушчу үчүн жетиштүү далил эмес.

Бул параметрлер s3a:// үчүн колдонулат. Эски Jets3t коннекторунун рецепттери башка ишке ашырууну конфигурациялайт жана бул иште колдонулган S3A параметрлерин алмаштырбайт.