Hadoop DistCp: ಕೆಲಸಗಾರ ಕಾರ್ಯಗಳಲ್ಲಿ S3A ಪ್ರಾಕ್ಸಿ ಸಂರಚಿಸಿ

Hadoop S3A ಕನೆಕ್ಟರ್‌ನ ಪ್ರಾಕ್ಸಿಯನ್ನು ಸಂರಚಿಸಿ ಮತ್ತು DistCp ಕೆಲಸಗಾರರು ವರ್ಗಾವಣೆ ಮಾಡುವ ಸ್ಥಳದಲ್ಲಿ ಸಂರಚನೆಯನ್ನು ಲಭ್ಯವಾಗಿಸಿ.

HTTP ಪ್ರಾಕ್ಸಿ ಮೂಲಕ Hadoop 3.4.2 ರ S3A ಕನೆಕ್ಟರ್‌ಗೆ, ಈ ನಮೂದುಗಳನ್ನು ಕಾರ್ಯಾಚರಣೆಯ Hadoop ಸಂರಚನೆಗೆ, ಸಾಮಾನ್ಯವಾಗಿ ಅನ್ವಯವಾಗುವ core-site.xml ಗೆ ಸೇರಿಸಿ:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

ಪ್ರಾಕ್ಸಿ ರುಜುವಾತುಗಳನ್ನು ಸಂರಚಿಸದೆ ಸಾರ್ವಜನಿಕವಾಗಿ ತಲುಪಬಹುದಾದ S3 ಅಂತ್ಯಬಿಂದುವಿನ ವಿರುದ್ಧ ಪ್ರತ್ಯೇಕವಾಗಿ ಅನುಮತಿಸಲಾದ ಪರೀಕ್ಷೆಗೆ, HTTP ಪ್ರಾಕ್ಸಿ ಪಟ್ಟಿ ಆತಿಥೇಯ ಹೆಸರು ಮತ್ತು ಸ್ಪಷ್ಟ ಪೋರ್ಟ್‌ಗೆ ಅಭ್ಯರ್ಥಿ ಮೌಲ್ಯಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ. fs.s3a.proxy.ssl.enabled=false ಈ ಪ್ರಾಕ್ಸಿಗೆ ಸರಳ HTTP ಸಂಪರ್ಕವನ್ನು ಆಯ್ಕೆಮಾಡುತ್ತದೆ; ಇದು S3A ನಿಂದ S3 ಗೆ TLS ಅನ್ನು ನಿಷ್ಕ್ರಿಯಗೊಳಿಸುವುದಿಲ್ಲ. ನಿಜವಾದ ಪ್ರಾಕ್ಸಿ ಶ್ರೋತೃಕ್ಕೆ ಹೊಂದುವ ಮೌಲ್ಯವನ್ನು ಬಳಸಿ.

ಎರಡೂ ಗ್ರಾಹಕರನ್ನು ಪರಿಶೀಲಿಸಿ. ಸಲ್ಲಿಸುವ ಕ್ಲೈಂಟ್ S3 ಅನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಪಟ್ಟಿ ಮಾಡಬಹುದು, ಆದರೆ DistCp ನಕ್ಷೆ-ಕಾರ್ಯಗಳ ಕಂಟೇನರ್‌ಗಳು ಪ್ರಾಕ್ಸಿಯನ್ನು ತಲುಪಲು ಅಥವಾ ಅದೇ ಕಡತ ವ್ಯವಸ್ಥೆ ಸಂರಚನೆಯನ್ನು ಲೋಡ್ ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ. ವರ್ಗಾವಣೆಗಳನ್ನು ಆ ಕಾರ್ಯಗಳೇ ನಿರ್ವಹಿಸುತ್ತವೆ.

ವಿಫಲವಾದ ಕಾರ್ಯಕ್ಕೆ, ಕಾರ್ಯಗತಗೊಳಿಸುವ ಆತಿಥೇಯ, ಪರಿಣಾಮಕಾರಿ ಸಂರಚನೆ ಮತ್ತು ಆಯ್ಕೆಮಾಡಿದ ಅಂತ್ಯಬಿಂದುವನ್ನು ದೋಷದೊಂದಿಗೆ ಉಳಿಸಿ. ಸಲ್ಲಿಕೆ ಶೆಲ್‌ನ ಪರಿಸರವು ಕೆಲಸಗಾರನಿಗೆ ಸಾಕಷ್ಟು ಸಾಕ್ಷ್ಯವಲ್ಲ.

ಈ ಸೆಟ್ಟಿಂಗ್‌ಗಳು s3a:// ಅನ್ನು ನಿಯಂತ್ರಿಸುತ್ತವೆ. ಹಳೆಯ Jets3t ಕನೆಕ್ಟರ್ ಪಾಕವಿಧಾನಗಳು ಬೇರೆ ಅನುಷ್ಠಾನವನ್ನು ಸಂರಚಿಸುತ್ತವೆ ಮತ್ತು ಈ ಕೆಲಸ ಬಳಸುವ S3A ಆಯ್ಕೆಗಳಿಗೆ ಪರ್ಯಾಯವಲ್ಲ.

ಸಂಬಂಧಿತ ಲೇಖನಗಳು