Hadoop DistCp: işçi tapşırıqlarında S3A proksisini konfiqurasiya edin

HTTP proksisi vasitəsilə Hadoop 3.4.2-nin S3A konnektoru üçün bu qeydləri əməliyyatın Hadoop konfiqurasiyasına, adətən uyğun core-site.xml faylına əlavə edin:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Proksinin etimad məlumatları konfiqurasiya edilmədən ictimaiyyətə açıq S3 son nöqtəsinə qarşı ayrıca icazəli sınaq üçün HTTP proksi siyahısı host adı və açıq port üçün namizəd dəyərlər təqdim edir. fs.s3a.proxy.ssl.enabled=false bu proksiyə düz HTTP bağlantısı seçir; S3A-dan S3-ə TLS-i söndürmür. Faktiki proksi dinləyicisinə uyğun dəyəri istifadə edin.

Hər iki istehlakçını yoxlayın. Göndərən müştəri S3-ü uğurla siyahıya ala bilər, halbuki DistCp map-task konteynerləri proksiyə çata və ya eyni fayl sistemi konfiqurasiyasını yükləyə bilməz. Köçürmələri həmin tapşırıqlar yerinə yetirir.

Uğursuz tapşırıq üçün icra hostunu, qüvvədə olan konfiqurasiyanı və seçilmiş son nöqtəni xəta ilə birlikdə saxlayın. Göndərmə qabığının mühiti işçi üçün kifayət qədər sübut deyil.

Bu parametrlər s3a:// üçün keçərlidir. Köhnə Jets3t konnektor reseptləri başqa bir tətbiqi konfiqurasiya edir və bu işdə istifadə olunan S3A seçimlərini əvəz etmir.