Hadoop DistCp: konfigurace proxy S3A v úlohách pracovníků

Pro konektor S3A v Hadoop 3.4.2 přes HTTP proxy slučte tyto položky do konfigurace Hadoop dané operace, obvykle do příslušného core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Pro samostatně povolený test proti veřejně dostupnému koncovému bodu S3 bez nastavených přihlašovacích údajů k proxy poskytuje seznam HTTP proxy kandidátní hodnoty pro název hostitele a explicitní port. fs.s3a.proxy.ssl.enabled=false volí obyčejné HTTP připojení k této proxy; nevypíná TLS mezi S3A a S3. Použijte hodnotu odpovídající skutečnému naslouchajícímu portu proxy.

Zkontrolujte oba spotřebitele. Odesílající klient může úspěšně vypsat S3, zatímco kontejnery map úloh DistCp nemusí dosáhnout na proxy ani načíst stejnou konfiguraci souborového systému. Přenosy provádějí právě tyto úlohy.

U neúspěšné úlohy uchovejte hostitele spuštění, platnou konfiguraci a zvolený koncový bod spolu s chybou. Prostředí odesílajícího shellu není pro pracovníka dostatečným důkazem.

Tato nastavení platí pro s3a://. Starší recepty pro konektor Jets3t konfigurují jinou implementaci a nenahrazují volby S3A použité v této úloze.