Hadoop DistCp: S3A-välityspalvelimen määrittäminen työntekijätehtävissä
Määritä Hadoop S3A -liittimen välityspalvelin ja varmista, että määritys on käytettävissä siellä, missä DistCp-työntekijät tekevät siirtonsa.
Kun Hadoop 3.4.2:n S3A-liitin kulkee HTTP-välityspalvelimen kautta, yhdistä nämä merkinnät toiminnon Hadoop-määritykseen, tavallisesti asianomaiseen core-site.xml-tiedostoon:
<property>
<name>fs.s3a.proxy.host</name>
<value>gateway.example</value>
</property>
<property>
<name>fs.s3a.proxy.port</name>
<value>8080</value>
</property>
<property>
<name>fs.s3a.proxy.ssl.enabled</name>
<value>false</value>
</property>Itsenäisesti sallittuun testiin julkisesti saavutettavaa S3-päätepistettä vastaan ilman välityspalvelimen tunnistetietoja HTTP-välityspalvelinluettelo tarjoaa ehdokasarvoja isäntänimelle ja eksplisiittiselle portille. fs.s3a.proxy.ssl.enabled=false valitsee tavallisen HTTP-yhteyden tähän välityspalvelimeen; se ei poista TLS:ää käytöstä S3A:n ja S3:n väliltä. Käytä arvoa, joka vastaa todellista välityspalvelimen kuuntelijaa.
Tarkista molemmat kuluttajat. Lähettävä asiakas voi listata S3:n onnistuneesti, kun taas DistCp:n karttatehtävien kontit eivät tavoita välityspalvelinta tai lataa samaa tiedostojärjestelmän määritystä. Siirrot tekevät juuri ne tehtävät.
Epäonnistuneen tehtävän osalta säilytä suoritettava isäntä, voimassa oleva määritys ja valittu päätepiste virheen kanssa. Lähetyskuoren ympäristö ei ole riittävä todiste työntekijälle.
Nämä asetukset koskevat kohdetta s3a://. Vanhemmat Jets3t-liittimen ohjeet määrittävät toisen toteutuksen eivätkä korvaa S3A-asetuksia, joita tämä työ käyttää.