Hadoop DistCp: ffurfweddu'r proxï S3A ar dasgau gweithwyr

Ar gyfer cysylltydd S3A Hadoop 3.4.2 drwy broxï HTTP, unodd y cofnodion hyn yn ffurfweddiad Hadoop y llawdriniaeth, fel arfer y core-site.xml perthnasol:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Ar gyfer prawf a ganiateir yn annibynnol yn erbyn pwynt terfyn S3 sy'n gyhoeddus ac heb gymwysterau proxï wedi'u gosod, mae'r rhestr proxï HTTP yn darparu gwerthoedd posibl ar gyfer enw'r gwesteiwr a'r porthladd penodol. Mae fs.s3a.proxy.ssl.enabled=false yn dewis cysylltiad HTTP plaen i'r proxï hwn; nid yw'n analluogi TLS o S3A i S3. Defnyddiwch y gwerth sy'n cyfateb i wrandawr gwirioneddol y proxï.

Gwiriwch y ddau ddefnyddiwr. Gall y cleient sy'n cyflwyno restru S3 yn llwyddiannus tra na all cynhwysyddion tasgau map DistCp gyrraedd y proxï na llwytho'r un ffurfweddiad system ffeiliau. Y tasgau hynny sy'n gwneud y trosglwyddiadau.

Ar gyfer tasg wedi methu, cadwch y gwesteiwr gweithredu, y ffurfweddiad effeithiol a'r pwynt terfyn a ddewiswyd gyda'r gwall. Nid yw amgylchedd plisgyn y cyflwyniad yn dystiolaeth ddigonol ar gyfer gweithiwr.

Mae'r gosodiadau hyn yn llywodraethu s3a://. Mae ryseitiau cysylltydd Jets3t hŷn yn ffurfweddu gweithrediad arall ac nid ydynt yn disodli'r opsiynau S3A a ddefnyddir gan y gwaith hwn.