Hadoop DistCp: konfiguracja proxy S3A w zadaniach workerów

Dla łącznika S3A Hadoop 3.4.2 przez proxy HTTP scal te wpisy z konfiguracją Hadoop operacji, zwykle z odpowiednim plikiem core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Do niezależnie dozwolonego testu wobec publicznie osiągalnego punktu końcowego S3 bez skonfigurowanych poświadczeń proxy lista proxy HTTP podaje kandydackie wartości nazwy hosta i jawnego portu. fs.s3a.proxy.ssl.enabled=false wybiera zwykłe połączenie HTTP z tym proxy; nie wyłącza TLS między S3A i S3. Użyj wartości odpowiadającej rzeczywistemu nasłuchowi proxy.

Sprawdź oba elementy. Klient wysyłający może z powodzeniem wyświetlić listę S3, podczas gdy kontenery zadań map DistCp nie mogą połączyć się z proxy ani wczytać tej samej konfiguracji systemu plików. To te zadania wykonują transfery.

W przypadku nieudanego zadania zachowaj host wykonania, obowiązującą konfigurację i wybrany punkt końcowy wraz z błędem. Środowisko powłoki wysyłającej nie jest wystarczającym dowodem dla workera.

Te ustawienia dotyczą s3a://. Starsze przepisy łącznika Jets3t konfigurują inną implementację i nie zastępują opcji S3A używanych przez to zadanie.