Hadoop DistCp: конфигурирање на S3A прокси на работнички задачи

За S3A конекторот на Hadoop 3.4.2 преку HTTP прокси, спојте ги овие записи во Hadoop конфигурацијата на операцијата, обично соодветниот core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

За одделно одобрен тест кон јавно достапна S3 крајна точка без поставени прокси акредитиви, списокот на HTTP прокси сервери нуди кандидатски вредности за името на домаќинот и експлицитната порта. fs.s3a.proxy.ssl.enabled=false избира обична HTTP врска со ова прокси; не го исклучува TLS помеѓу S3A и S3. Користете ја вредноста што одговара на вистинскиот прокси слушач.

Проверете ги двата потрошувачи. Клиентот што поднесува може успешно да го наведе S3, додека контејнерите на map задачите на DistCp не можат да стигнат до проксито или да ја вчитаат истата конфигурација на датотечен систем. Токму тие задачи ги вршат преносите.

За неуспешна задача, зачувајте го домаќинот на извршување, важечката конфигурација и избраната крајна точка заедно со грешката. Окружувањето на школката за поднесување не е доволен доказ за работник.

Овие поставки управуваат со s3a://. Постарите рецепти за Jets3t конекторот конфигурираат друга имплементација и не ги заменуваат опциите S3A што ги користи оваа работа.