Hadoop DistCp: वर्कर टास्क पर S3A प्रॉक्सी कॉन्फ़िगर करें

HTTP प्रॉक्सी के माध्यम से Hadoop 3.4.2 के S3A कनेक्टर के लिए, इन प्रविष्टियों को ऑपरेशन के Hadoop कॉन्फ़िगरेशन में, सामान्यतः लागू core-site.xml में, मिलाएँ:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

प्रॉक्सी क्रेडेंशियल सेट किए बिना सार्वजनिक रूप से पहुँच योग्य S3 एंडपॉइंट के विरुद्ध स्वतंत्र रूप से अनुमत परीक्षण के लिए, HTTP प्रॉक्सी सूची होस्टनाम और स्पष्ट पोर्ट के लिए उम्मीदवार मान देती है। fs.s3a.proxy.ssl.enabled=false इस प्रॉक्सी के लिए सादा HTTP कनेक्शन चुनता है; यह S3A से S3 तक TLS को बंद नहीं करता। वास्तविक प्रॉक्सी लिस्नर से मेल खाता मान उपयोग करें।

दोनों उपभोक्ताओं की जाँच करें। सबमिट करने वाला क्लाइंट S3 को सफलतापूर्वक सूचीबद्ध कर सकता है, जबकि DistCp मैप-टास्क कंटेनर प्रॉक्सी तक नहीं पहुँच पाते या वही फ़ाइलसिस्टम कॉन्फ़िगरेशन लोड नहीं कर पाते। स्थानांतरण वही टास्क करते हैं।

विफल टास्क के लिए, निष्पादन होस्ट, प्रभावी कॉन्फ़िगरेशन और चुना गया एंडपॉइंट त्रुटि के साथ रखें। सबमिशन शेल का वातावरण वर्कर के लिए पर्याप्त साक्ष्य नहीं है।

ये सेटिंग्स s3a:// को नियंत्रित करती हैं। पुरानी Jets3t कनेक्टर रेसिपियाँ दूसरा कार्यान्वयन कॉन्फ़िगर करती हैं और इस काम में उपयोग किए गए S3A विकल्पों का विकल्प नहीं हैं।