Hadoop DistCp: still S3A-proxy inn á arbeiðaruppgávur

Still S3A-sambindingsins proxy í Hadoop og tryggja, at uppsetningin er tøk har sum DistCp-arbeiðarar flyta data.

Fyri S3A-sambindingina í Hadoop 3.4.2 gjøgnum HTTP-proxy skalt tú leggja hesar uppføringar inn í Hadoop-uppsetningina hjá tiltakinum, vanliga hina viðkomandi core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Fyri ein sjálvstøðugt loyvdan test móti einum alment atkomuligum S3-endapkti uttan proxy-innlogging, veitir HTTP-proxy-listin møgulig virði fyri vertsnavn og greiða port. fs.s3a.proxy.ssl.enabled=false velur eina einfalda HTTP-sambinding til hendan proxy; tað sløkkir ikki TLS frá S3A til S3. Brúka tað virðið, sum svarar til veruliga proxy-tsjónaran.

Kanna báðar brúkaranar. Tann sendandi klienturin kann lista S3 væl, meðan containers hjá DistCp-map-uppgávum ikki náa proxyinum ella lesa sama fílsystemsuppsetning. Tað er hesar uppgávur, sum gera flytingarnar.

Fyri eina miseydnaða uppgávu skalt tú varðveita køyruvertin, galdandi uppsetning og valda endapkt saman við villuni. Umhvørvið í sendingarskelini er ikki nóg mikið prógv fyri ein arbeiðara.

Hesar stillingar stýra s3a://. Eldri uppskriftir fyri Jets3t-sambindingina seta eina aðra implementering upp og koma ikki í staðin fyri S3A-valmøguleikarnar, sum hetta arbeiðið brúkar.

Skyldar greinar