Hadoop DistCp: ਵਰਕਰ ਟਾਸਕਾਂ ਉੱਤੇ S3A ਪ੍ਰੌਕਸੀ ਕੌਂਫਿਗਰ ਕਰੋ

HTTP ਪ੍ਰੌਕਸੀ ਰਾਹੀਂ Hadoop 3.4.2 ਦੇ S3A ਕਨੈਕਟਰ ਲਈ, ਇਹ ਐਂਟਰੀਆਂ ਓਪਰੇਸ਼ਨ ਦੀ Hadoop ਕੌਂਫਿਗਰੇਸ਼ਨ ਵਿੱਚ, ਆਮ ਤੌਰ ਉੱਤੇ ਲਾਗੂ core-site.xml ਵਿੱਚ, ਸ਼ਾਮਲ ਕਰੋ:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

ਪ੍ਰੌਕਸੀ ਪ੍ਰਮਾਣ-ਪੱਤਰ ਸੈੱਟ ਕੀਤੇ ਬਿਨਾਂ ਜਨਤਕ ਤੌਰ ਉੱਤੇ ਪਹੁੰਚਯੋਗ S3 ਐਂਡਪੌਇੰਟ ਦੇ ਵਿਰੁੱਧ ਵੱਖਰੇ ਤੌਰ ਉੱਤੇ ਮਨਜ਼ੂਰ ਕੀਤੇ ਟੈਸਟ ਲਈ, HTTP ਪ੍ਰੌਕਸੀ ਸੂਚੀ ਹੋਸਟਨਾਮ ਅਤੇ ਸਪੱਸ਼ਟ ਪੋਰਟ ਲਈ ਸੰਭਾਵੀ ਮੁੱਲ ਦਿੰਦੀ ਹੈ। fs.s3a.proxy.ssl.enabled=false ਇਸ ਪ੍ਰੌਕਸੀ ਲਈ ਸਾਧਾਰਨ HTTP ਕਨੈਕਸ਼ਨ ਚੁਣਦਾ ਹੈ; ਇਹ S3A ਤੋਂ S3 ਤੱਕ TLS ਬੰਦ ਨਹੀਂ ਕਰਦਾ। ਅਸਲ ਪ੍ਰੌਕਸੀ ਲਿਸਨਰ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਮੁੱਲ ਵਰਤੋ।

ਦੋਵੇਂ ਖਪਤਕਾਰ ਜਾਂਚੋ। ਜਮ੍ਹਾਂ ਕਰਨ ਵਾਲਾ ਕਲਾਇੰਟ S3 ਨੂੰ ਸਫਲਤਾਪੂਰਵਕ ਸੂਚੀਬੱਧ ਕਰ ਸਕਦਾ ਹੈ, ਜਦੋਂ ਕਿ DistCp ਮੈਪ-ਟਾਸਕ ਕੰਟੇਨਰ ਪ੍ਰੌਕਸੀ ਤੱਕ ਨਹੀਂ ਪਹੁੰਚ ਸਕਦੇ ਜਾਂ ਉਹੀ ਫਾਈਲਸਿਸਟਮ ਕੌਂਫਿਗਰੇਸ਼ਨ ਲੋਡ ਨਹੀਂ ਕਰ ਸਕਦੇ। ਟ੍ਰਾਂਸਫਰ ਉਹੀ ਟਾਸਕ ਕਰਦੇ ਹਨ।

ਫੇਲ੍ਹ ਹੋਈ ਟਾਸਕ ਲਈ, ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਹੋਸਟ, ਪ੍ਰਭਾਵੀ ਕੌਂਫਿਗਰੇਸ਼ਨ ਅਤੇ ਚੁਣਿਆ ਐਂਡਪੌਇੰਟ ਗਲਤੀ ਨਾਲ ਰੱਖੋ। ਸਬਮਿਸ਼ਨ ਸ਼ੈੱਲ ਦਾ ਵਾਤਾਵਰਣ ਵਰਕਰ ਲਈ ਕਾਫ਼ੀ ਸਬੂਤ ਨਹੀਂ ਹੈ।

ਇਹ ਸੈਟਿੰਗਾਂ s3a:// ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਦੀਆਂ ਹਨ। ਪੁਰਾਣੀਆਂ Jets3t ਕਨੈਕਟਰ ਰੈਸਿਪੀਆਂ ਦੂਜਾ ਕਾਰਜਾਨਵਿਆਨ ਕੌਂਫਿਗਰ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਇਸ ਕੰਮ ਵਿੱਚ ਵਰਤੇ S3A ਵਿਕਲਪਾਂ ਦਾ ਬਦਲ ਨਹੀਂ ਹਨ।