Hadoop DistCp: жұмысшы тапсырмаларында S3A проксиін конфигурациялау

Hadoop 3.4.2 S3A коннекторы үшін HTTP прокси арқылы мына жазбаларды операцияның Hadoop конфигурациясына, әдетте сәйкес core-site.xml файлына қосыңыз:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Прокси тіркелгі деректерінсіз жалпыға қолжетімді S3 соңғы нүктесіне қарсы жеке рұқсат етілген сынақ үшін HTTP прокси тізімі хост атауы мен айқын порт үшін кандидат мәндерді ұсынады. fs.s3a.proxy.ssl.enabled=false осы проксиге қарапайым HTTP қосылымын таңдайды; ол S3A-дан S3-ке TLS-ті өшірмейді. Нақты прокси тыңдаушысына сәйкес мәнді пайдаланыңыз.

Екі тұтынушыны да тексеріңіз. Жіберуші клиент S3 тізімін сәтті алуы мүмкін, ал DistCp карта-тапсырма контейнерлері проксиге жете алмайды немесе сол файлдық жүйе конфигурациясын жүктей алмайды. Тасымалдауды дәл сол тапсырмалар орындайды.

Сәтсіз тапсырма үшін орындау хостын, қолданыстағы конфигурацияны және таңдалған соңғы нүктені қатемен бірге сақтаңыз. Жіберу қабығының ортасы жұмысшы үшін жеткілікті дәлел емес.

Бұл параметрлер s3a:// үшін қолданылады. Ескі Jets3t коннекторының рецептері басқа іске асыруды конфигурациялайды және осы жұмыста қолданылатын S3A опцияларын алмастырмайды.