Hadoop DistCp: ikkonfigura l-proxy S3A fuq ix-xogħol tal-ħaddiema

Ikkonfigura l-proxy tal-konnettur S3A ta' Hadoop u agħmel il-konfigurazzjoni disponibbli fejn il-ħaddiema DistCp iwettqu t-trasferimenti tagħhom.

Għall-konnettur S3A ta' Hadoop 3.4.2 permezz ta' proxy HTTP, għaqqad dawn l-entrati fil-konfigurazzjoni Hadoop tal-operazzjoni, normalment il-core-site.xml applikabbli:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Għal test awtorizzat b'mod indipendenti kontra punt tat-tmiem S3 aċċessibbli pubblikament mingħajr kredenzjali tal-proxy, il-lista tal-proxy HTTP tipprovdi valuri kandidati għall-isem tal-host u l-port espliċitu. fs.s3a.proxy.ssl.enabled=false jagħżel konnessjoni HTTP sempliċi ma' dan il-proxy; ma jiddiżattivax TLS minn S3A għal S3. Uża l-valur li jaqbel mas-semmiegħ reali tal-proxy.

Iċċekkja ż-żewġ konsumaturi. Il-klijent li jissottometti jista' jelenka S3 b'suċċess filwaqt li l-kontenituri tal-kompiti map ta' DistCp ma jistgħux jilħqu l-proxy jew jitgħabbu l-istess konfigurazzjoni tas-sistema tal-fajls. Dawk il-kompiti jwettqu t-trasferimenti.

Għal kompitu li falla, żomm il-host tal-eżekuzzjoni, il-konfigurazzjoni effettiva u l-punt tat-tmiem magħżul flimkien mal-iżball. L-ambjent tal-shell tas-sottomissjoni mhuwiex biżżejjed bħala evidenza għal ħaddiem.

Dawn is-settings jirregolaw s3a://. Riċetti aktar antiki tal-konnettur Jets3t jikkonfiguraw implimentazzjoni oħra u ma jissostitwux l-għażliet S3A li juża dan ix-xogħol.

Artikli relatati