Hadoop DistCp: ワーカータスクで S3A プロキシを設定する

HTTP プロキシ経由で Hadoop 3.4.2 の S3A コネクターを使うには、次のエントリを操作の Hadoop 構成（通常は該当する core-site.xml）にマージします。

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

プロキシ資格情報を設定せずに、公開到達可能な S3 エンドポイントに対して個別に許可されたテストを行う場合、HTTP プロキシ一覧がホスト名と明示ポートの候補値を提供します。fs.s3a.proxy.ssl.enabled=false はこのプロキシへの平文 HTTP 接続を選びます。S3A から S3 への TLS を無効にするわけではありません。実際のプロキシリスナーに一致する値を使用してください。

両方の利用者を確認します。送信側クライアントが S3 を一覧できても、DistCp の map タスクのコンテナがプロキシに到達できない、または同じファイルシステム構成を読み込めないことがあります。実際に転送を行うのはこれらのタスクです。

失敗したタスクでは、実行ホスト、有効な構成、選択したエンドポイントをエラーとともに保存します。送信シェルの環境はワーカーの証拠として不十分です。

これらの設定は s3a:// に適用されます。古い Jets3t コネクターの手順は別の実装を構成するもので、このジョブが使う S3A オプションの代わりにはなりません。