Hadoop DistCp: S3A starpniekservera konfigurēšana darbinieku uzdevumos

Hadoop 3.4.2 S3A savienotājam caur HTTP starpniekserveri apvienojiet šos ierakstus operācijas Hadoop konfigurācijā, parasti attiecīgajā core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Neatkarīgi atļautam testam pret publiski sasniedzamu S3 galapunktu bez starpniekservera akreditācijas datiem HTTP starpniekserveru saraksts piedāvā kandidātvērtības resursdatora nosaukumam un skaidrai portai. fs.s3a.proxy.ssl.enabled=false izvēlas vienkāršu HTTP savienojumu ar šo starpniekserveri; tas neizslēdz TLS starp S3A un S3. Izmantojiet vērtību, kas atbilst faktiskajam starpniekservera klausītājam.

Pārbaudiet abus lietotājus. Iesniedzošais klients var veiksmīgi uzskaitīt S3, kamēr DistCp kartes uzdevumu konteineri nevar sasniegt starpniekserveri vai ielādēt to pašu failu sistēmas konfigurāciju. Pārsūtīšanu veic tieši šie uzdevumi.

Neveiksmīgam uzdevumam saglabājiet izpildes resursdatoru, spēkā esošo konfigurāciju un izvēlēto galapunktu kopā ar kļūdu. Iesniegšanas apvalka vide nav pietiekams pierādījums darbiniekam.

Šie iestatījumi attiecas uz s3a://. Vecākas Jets3t savienotāja receptes konfigurē citu ieviešanu un neaizstāj S3A opcijas, ko izmanto šis darbs.