Hadoop DistCp: налаштування проксі S3A в задачах робочих вузлів

Налаштуйте проксі конектора Hadoop S3A і зробіть конфігурацію доступною там, де робітники DistCp виконують передавання.

Для конектора S3A Hadoop 3.4.2 через HTTP-проксі додайте ці записи до конфігурації Hadoop операції, зазвичай до відповідного core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Для окремо дозволеної перевірки публічно доступної кінцевої точки S3 без облікових даних проксі список HTTP-проксі пропонує варіанти значень для імені хоста та явного порту. fs.s3a.proxy.ssl.enabled=false вибирає звичайне HTTP-з'єднання з цим проксі; він не вимикає TLS між S3A і S3. Використовуйте значення, що відповідає фактичному слухачу проксі.

Перевірте обох споживачів. Клієнт, який надсилає, може успішно перелічити S3, тоді як контейнери map-задач DistCp не можуть дістатися проксі або завантажити ту саму конфігурацію файлової системи. Саме ці задачі виконують передавання.

Для невдалої задачі збережіть хост виконання, чинну конфігурацію та вибрану кінцеву точку разом із помилкою. Середовище оболонки надсилання не є достатнім доказом для робітника.

Ці параметри керують s3a://. Старі рецепти конектора Jets3t налаштовують іншу реалізацію і не замінюють параметри S3A, які використовує ця робота.

Схожі статті