Hadoop DistCp: konfiguratu S3A proxy langile-zereginetan

Hadoop 3.4.2-ren S3A konektorea HTTP proxy baten bidez erabiltzeko, gehitu sarrera hauek eragiketaren Hadoop konfigurazioan, normalean dagokion core-site.xml fitxategian:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Proxy kredentzialik gabe publikoki irisgarria den S3 mutur-puntu baten aurka modu independentean baimendutako proba baterako, HTTP proxy zerrendak ostalari-izenerako eta portu espliziturako hautagai-balioak ematen ditu. fs.s3a.proxy.ssl.enabled=false proxirako HTTP konexio soila hautatzen du; ez du TLS desgaitzen S3A-tik S3ra. Erabili proxyaren benetako entzulearekin bat datorren balioa.

Egiaztatu bi kontsumitzaileak. Bidaltzen duen bezeroak S3 ondo zerrenda dezake, baina DistCp map-zereginen edukiontziek ezin dute proxira iritsi edo fitxategi-sistemaren konfigurazio bera kargatu. Zeregin horiek egiten dituzte transferentziak.

Huts egindako zeregin baterako, gorde exekuzio-ostalaria, indarrean dagoen konfigurazioa eta hautatutako mutur-puntua errorearekin batera. Bidalketa-shellaren ingurunea ez da langile batentzako froga nahikoa.

Ezarpen hauek s3a:// gobernatzen dute. Jets3t konektorearen errezeta zaharrek beste inplementazio bat konfiguratzen dute eta ez dituzte lan honek erabiltzen dituen S3A aukerak ordezkatzen.