Hadoop DistCp: i-configure ang S3A proxy sa mga gawain ng worker

Para sa S3A connector ng Hadoop 3.4.2 sa pamamagitan ng HTTP proxy, pagsamahin ang mga entry na ito sa configuration ng Hadoop ng operasyon, karaniwang ang naaangkop na core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Para sa isang pagsubok na awtorisado nang hiwalay laban sa isang puntong dulo ng S3 na maaaring maabot ng publiko nang walang mga kredensyal ng proxy, ang listahan ng HTTP proxy ay nagbibigay ng mga kandidatong halaga para sa hostname at tahasang port. Pinipili ng fs.s3a.proxy.ssl.enabled=false ang simpleng koneksyong HTTP sa proxy na ito; hindi nito hindi pinapagana ang TLS mula S3A patungong S3. Gamitin ang halagang tumutugma sa tunay na listener ng proxy.

Suriin ang dalawang consumer. Maaaring matagumpay na mailista ng client na nagsumite ang S3 habang ang mga container ng map-task ng DistCp ay hindi maabot ang proxy o ma-load ang parehong configuration ng filesystem. Ang mga gawaing iyon ang gumagawa ng paglilipat.

Para sa isang nabigong gawain, itago ang host ng pagpapatupad, ang epektibong configuration at ang napiling dulo kasama ang error. Ang kapaligiran ng shell ng pagsusumite ay hindi sapat na ebidensya para sa isang worker.

Kinokontrol ng mga setting na ito ang s3a://. Ang mga lumang recipe ng Jets3t connector ay nagko-configure ng ibang implementasyon at hindi pinapalitan ang mga opsyon ng S3A na ginagamit ng gawaing ito.