Hadoop DistCp: 워커 태스크에서 S3A 프록시 구성

Hadoop S3A 커넥터의 프록시를 구성하고 DistCp 워커가 전송을 수행하는 위치에서 해당 구성을 사용할 수 있게 하십시오.

HTTP 프록시를 통해 Hadoop 3.4.2의 S3A 커넥터를 사용하려면 다음 항목을 작업의 Hadoop 구성, 일반적으로 해당 core-site.xml에 병합하십시오.

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

프록시 자격 증명을 설정하지 않고 공개적으로 접근 가능한 S3 엔드포인트에 대해 별도로 허용된 테스트를 하려면 HTTP 프록시 목록이 호스트 이름과 명시적 포트의 후보 값을 제공합니다. fs.s3a.proxy.ssl.enabled=false은 이 프록시로의 일반 HTTP 연결을 선택합니다. S3A에서 S3로의 TLS를 비활성화하지는 않습니다. 실제 프록시 리스너와 일치하는 값을 사용하십시오.

두 소비자를 모두 확인하십시오. 제출 클라이언트는 S3를 성공적으로 나열할 수 있지만, DistCp map 태스크 컨테이너는 프록시에 도달하지 못하거나 동일한 파일 시스템 구성을 로드하지 못할 수 있습니다. 전송을 수행하는 것은 바로 그 태스크입니다.

실패한 태스크의 경우 실행 호스트, 유효 구성, 선택한 엔드포인트를 오류와 함께 보관하십시오. 제출 셸의 환경은 워커에 대한 충분한 증거가 아닙니다.

이 설정은 s3a://에 적용됩니다. 오래된 Jets3t 커넥터 방식은 다른 구현을 구성하며 이 작업에서 사용하는 S3A 옵션을 대체하지 않습니다.

관련 글