Hadoop DistCp: конфигуриране на прокси S3A в задачите на работниците

За конектора S3A на Hadoop 3.4.2 през HTTP прокси добавете тези записи към конфигурацията на Hadoop за операцията, обикновено подходящия core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

За отделно разрешен тест срещу публично достъпна крайна точка на S3 без зададени прокси идентификационни данни, списъкът с HTTP прокси сървъри предлага примерни стойности за име на хост и явен порт. fs.s3a.proxy.ssl.enabled=false избира обикновена HTTP връзка към това прокси; не изключва TLS между S3A и S3. Използвайте стойността, съответстваща на действителния слушател на проксито.

Проверете и двата консуматора. Клиентът, който подава, може да изброи S3 успешно, докато контейнерите на map задачите на DistCp не достигат до проксито или не зареждат същата файлова конфигурация. Тези задачи извършват преносите.

За неуспешна задача запазете хоста на изпълнение, действащата конфигурация и избраната крайна точка заедно с грешката. Средата на обвивката, от която се подава, не е достатъчно доказателство за работник.

Тези настройки управляват s3a://. По-старите рецепти за конектора Jets3t конфигурират друга реализация и не заместват опциите на S3A, използвани от тази задача.