Hadoop DistCp: konfigurácia proxy S3A v úlohách pracovníkov

Pre konektor S3A v Hadoop 3.4.2 cez HTTP proxy zlúčte tieto položky do konfigurácie Hadoop danej operácie, zvyčajne do príslušného core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Pre samostatne povolený test voči verejne dostupnému koncovému bodu S3 bez nastavených prihlasovacích údajov k proxy poskytuje zoznam HTTP proxy kandidátske hodnoty pre názov hostiteľa a explicitný port. fs.s3a.proxy.ssl.enabled=false volí obyčajné HTTP pripojenie k tejto proxy; nevypína TLS medzi S3A a S3. Použite hodnotu zodpovedajúcu skutočnému poslucháčovi proxy.

Skontrolujte oboch spotrebiteľov. Odosielajúci klient môže úspešne vypísať S3, zatiaľ čo kontajnery map úloh DistCp nemusia dosiahnuť proxy ani načítať rovnakú konfiguráciu súborového systému. Prenosy vykonávajú práve tieto úlohy.

Pri neúspešnej úlohe uchovajte hostiteľa spustenia, platnú konfiguráciu a zvolený koncový bod spolu s chybou. Prostredie odosielajúceho shellu nie je pre pracovníka dostatočným dôkazom.

Tieto nastavenia platia pre s3a://. Staršie recepty pre konektor Jets3t konfigurujú inú implementáciu a nenahrádzajú voľby S3A použité v tejto úlohe.