Hadoop DistCp: वर्कर टास्कवर S3A प्रॉक्सी कॉन्फिगर करा

Hadoop S3A कनेक्टरची प्रॉक्सी कॉन्फिगर करा आणि DistCp वर्कर जिथे हस्तांतरण करतात तिथे कॉन्फिगरेशन उपलब्ध करा.

HTTP प्रॉक्सीद्वारे Hadoop 3.4.2 च्या S3A कनेक्टरसाठी, हे नोंदी ऑपरेशनच्या Hadoop कॉन्फिगरेशनमध्ये, सामान्यतः लागू core-site.xml मध्ये, विलीन करा:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

प्रॉक्सी क्रेडेन्शियल्स न सेट करता सार्वजनिकरित्या पोहोचण्यायोग्य S3 एंडपॉइंटविरुद्ध स्वतंत्रपणे परवानगी दिलेल्या चाचणीसाठी, HTTP प्रॉक्सी यादी होस्टनाव आणि स्पष्ट पोर्टसाठी संभाव्य मूल्ये देते. fs.s3a.proxy.ssl.enabled=false या प्रॉक्सीशी साधे HTTP कनेक्शन निवडते; ते S3A ते S3 मधील TLS बंद करत नाही. प्रत्यक्ष प्रॉक्सी लिसनरशी जुळणारे मूल्य वापरा.

दोन्ही ग्राहक तपासा. सबमिट करणारा क्लायंट S3 यशस्वीरित्या सूचीबद्ध करू शकतो, तर DistCp मॅप-टास्क कंटेनर प्रॉक्सीपर्यंत पोहोचू शकत नाहीत किंवा तेच फाइलसिस्टम कॉन्फिगरेशन लोड करू शकत नाहीत. हस्तांतरण तीच टास्क करतात.

अयशस्वी टास्कसाठी, एक्झिक्युशन होस्ट, प्रभावी कॉन्फिगरेशन आणि निवडलेला एंडपॉइंट त्रुटीसह ठेवा. सबमिशन शेलचे वातावरण वर्करसाठी पुरावा म्हणून पुरेसे नाही.

ही सेटिंग्ज s3a:// नियंत्रित करतात. जुन्या Jets3t कनेक्टर रेसिपी दुसरी अंमलबजावणी कॉन्फिगर करतात आणि या कामात वापरलेल्या S3A पर्यायांची जागा घेत नाहीत.

संबंधित लेख