Hadoop DistCp: वर्कर कार्यहरूमा S3A प्रोक्सी कन्फिगर गर्नुहोस्

Hadoop S3A कनेक्टरको प्रोक्सी कन्फिगर गर्नुहोस् र DistCp वर्करहरूले स्थानान्तरण गर्ने ठाउँमा कन्फिगरेसन उपलब्ध गराउनुहोस्।

HTTP प्रोक्सीमार्फत Hadoop 3.4.2 को S3A कनेक्टरका लागि, यी प्रविष्टिहरू सञ्चालनको Hadoop कन्फिगरेसनमा, सामान्यतया लागू हुने core-site.xml मा, मिसाउनुहोस्:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

प्रोक्सी प्रमाणहरू सेट नगरी सार्वजनिक रूपमा पहुँचयोग्य S3 अन्तबिन्दुविरुद्ध छुट्टै अनुमति प्राप्त परीक्षणका लागि, HTTP प्रोक्सी सूची ले होस्टनाम र स्पष्ट पोर्टका लागि सम्भावित मानहरू दिन्छ। fs.s3a.proxy.ssl.enabled=false ले यो प्रोक्सीमा साधारण HTTP जडान छान्छ; यसले S3A बाट S3 सम्मको TLS बन्द गर्दैन। वास्तविक प्रोक्सी लिस्नरसँग मिल्ने मान प्रयोग गर्नुहोस्।

दुवै उपभोक्ता जाँच्नुहोस्। पेश गर्ने क्लाइन्टले S3 सफलतापूर्वक सूचीबद्ध गर्न सक्छ, तर DistCp म्याप-कार्य कन्टेनरहरू प्रोक्सीसम्म पुग्न वा त्यही फाइलसिस्टम कन्फिगरेसन लोड गर्न सक्दैनन्। स्थानान्तरण ती कार्यहरूले नै गर्छन्।

असफल कार्यका लागि, कार्यान्वयन होस्ट, प्रभावकारी कन्फिगरेसन र छानिएको अन्तबिन्दु त्रुटिसँगै राख्नुहोस्। पेश गर्ने शेलको वातावरण वर्करका लागि पर्याप्त प्रमाण होइन।

यी सेटिङहरूले s3a:// नियन्त्रण गर्छन्। पुराना Jets3t कनेक्टर रेसिपीहरूले अर्को कार्यान्वयन कन्फिगर गर्छन् र यो काममा प्रयोग भएका S3A विकल्पहरूको विकल्प होइनन्।

सम्बन्धित लेखहरू