Hadoop DistCp: den S3A-Proxy op Worker-Tasken astellen

Stellt den Proxy vum Hadoop-S3A-Connector an a maacht d'Konfiguratioun do verfügbar, wou d'DistCp-Worker hir Iwwerdroungen ausféieren.

Fir den S3A-Connector vun Hadoop 3.4.2 iwwer en HTTP-Proxy, füügt dës Entréen an d'Hadoop-Konfiguratioun vum Operatioun, normalerweis déi entspriechend core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Fir en eegestänneg genehmegten Test géint en ëffentlech erreechbaren S3-Endpunkt ouni Proxy-Accreditioune liwwert d'HTTP-Proxy-Lëscht Kandidatwäerter fir den Hostnumm an de explizite Port. fs.s3a.proxy.ssl.enabled=false wielt eng einfach HTTP-Verbindung zu dësem Proxy; et deaktivéiert net TLS vun S3A op S3. Benotzt de Wäert, deen zum tatsächleche Proxy-Listener passt.

Prüft béid Konsumenten. Den aschreiwende Client kann S3 erfollegräich oplëschten, wärend d'Container vun den DistCp-Map-Tasken de Proxy net erreechen oder déiselwecht Dateisystem-Konfiguratioun net luede kënnen. Déi Tasken maachen d'Iwwerdroungen.

Fir eng feelgeschloen Task behält den Ausféierungshost, déi gülteg Konfiguratioun an den ausgewielten Endpunkt zesumme mam Feeler. D'Ëmfeld vun der Aschreif-Shell ass fir e Worker net genuch Beweis.

Dës Astellunge regelen s3a://. Méi al Rezepter vum Jets3t-Connector konfiguréieren eng aner Implementatioun a ersetzen net d'S3A-Optiounen, déi dës Aarbecht benotzt.

Ähnlech Artikelen