Hadoop DistCp: agordi la S3A-prokurilon en laborantaj taskoj

Agordi la prokurilon de la Hadoop S3A-konektilo kaj disponebligi la agordon tie, kie DistCp-laborantoj plenumas siajn transigojn.

Por la S3A-konektilo de Hadoop 3.4.2 tra HTTP-prokurilo, kunfandu ĉi tiujn erojn en la Hadoop-agordon de la operacio, kutime la koncernan core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Por sendepende permesita provo kontraŭ publike atingebla S3-finpunkto sen agorditaj prokurilaj legitimiloj, la listo de HTTP-prokuriloj provizas kandidatajn valorojn por la gastigantnomo kaj eksplicita pordo. fs.s3a.proxy.ssl.enabled=false elektas simplan HTTP-konekton al ĉi tiu prokurilo; ĝi ne malŝaltas TLS de S3A al S3. Uzu la valoron kongruan kun la reala prokurila aŭskultanto.

Kontrolu ambaŭ konsumantojn. La sendanta kliento povas sukcese listigi S3, dum la ujoj de DistCp-map-taskoj ne povas atingi la prokurilon aŭ ŝargi la saman dosiersisteman agordon. Tiuj taskoj plenumas la transigojn.

Por malsukcesa tasko, konservu la plenum-gastiganton, la validan agordon kaj la elektitan finpunkton kune kun la eraro. La medio de la senda ŝelo ne sufiĉas kiel pruvo por laboranto.

Ĉi tiuj agordoj regas s3a://. Pli malnovaj receptoj por la Jets3t-konektilo agordas alian efektivigon kaj ne anstataŭas la S3A-opciojn uzatajn de ĉi tiu laboro.

Rilataj artikoloj