Hadoop DistCp: az S3A proxy beállítása a munkavégző taszkokban

A Hadoop 3.4.2 S3A csatlakozójához HTTP proxyn keresztül fűzze be ezeket a bejegyzéseket a művelet Hadoop konfigurációjába, általában a megfelelő core-site.xml fájlba:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Egy önállóan engedélyezett, nyilvánosan elérhető S3 végpont elleni teszthez, proxy hitelesítő adatok nélkül, a HTTP proxy lista jelölt értékeket kínál a gazdagépnévhez és az explicit porthez. fs.s3a.proxy.ssl.enabled=false egyszerű HTTP-kapcsolatot választ ehhez a proxyhoz; nem kapcsolja ki a TLS-t az S3A és az S3 között. A tényleges proxy-figyelőhöz illő értéket használja.

Ellenőrizze mindkét fogyasztót. A beküldő kliens sikeresen listázhatja az S3-at, miközben a DistCp map-taszkok konténerei nem érik el a proxyt, vagy nem töltik be ugyanazt a fájlrendszer-konfigurációt. Az átvitelt ezek a taszkok végzik.

Sikertelen taszk esetén őrizze meg a végrehajtó gazdagépet, az érvényes konfigurációt és a kiválasztott végpontot a hibával együtt. A beküldő shell környezete nem elegendő bizonyíték egy munkavégző számára.

Ezek a beállítások a s3a:// hatókörére vonatkoznak. A régebbi Jets3t csatlakozó receptek más implementációt konfigurálnak, és nem helyettesítik a feladat által használt S3A beállításokat.