Hadoop DistCp: பணியாளர் பணிகளில் S3A ப்ராக்ஸியை உள்ளமைக்கவும்

HTTP ப்ராக்ஸி வழியாக Hadoop 3.4.2 இன் S3A இணைப்பிக்கு, இந்த உள்ளீடுகளை செயல்பாட்டின் Hadoop உள்ளமைவில், பொதுவாக பொருந்தும் core-site.xml இல், இணைக்கவும்:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

ப்ராக்ஸி சான்றுகள் அமைக்கப்படாமல் பொதுவில் அணுகக்கூடிய S3 முனைக்கு எதிராக தனித்தனியாக அனுமதிக்கப்பட்ட சோதனைக்கு, HTTP ப்ராக்ஸி பட்டியல் ஹோஸ்ட்பெயர் மற்றும் வெளிப்படையான போர்ட்டுக்கான சாத்தியமான மதிப்புகளை வழங்குகிறது. fs.s3a.proxy.ssl.enabled=false இந்த ப்ராக்ஸிக்கு எளிய HTTP இணைப்பைத் தேர்ந்தெடுக்கிறது; இது S3A இலிருந்து S3 க்கு TLS ஐ முடக்காது. உண்மையான ப்ராக்ஸி கேட்பவருடன் பொருந்தும் மதிப்பைப் பயன்படுத்தவும்.

இரண்டு நுகர்வோரையும் சரிபார்க்கவும். சமர்ப்பிக்கும் கிளையண்ட் S3 ஐ வெற்றிகரமாக பட்டியலிடலாம், ஆனால் DistCp வரைபட-பணி கொள்கலன்கள் ப்ராக்ஸியை அடையவோ அதே கோப்புமுறை உள்ளமைவை ஏற்றவோ முடியாது. அந்த பணிகளே பரிமாற்றங்களைச் செய்கின்றன.

தோல்வியடைந்த பணிக்கு, செயல்படுத்தும் ஹோஸ்ட், செயலில் உள்ள உள்ளமைவு மற்றும் தேர்ந்தெடுக்கப்பட்ட முனையை பிழையுடன் சேமிக்கவும். சமர்ப்பிப்பு ஷெல்லின் சூழல் ஒரு பணியாளருக்கு போதுமான ஆதாரம் அல்ல.

இந்த அமைப்புகள் s3a:// ஐ நிர்வகிக்கின்றன. பழைய Jets3t இணைப்பி செய்முறைகள் வேறு செயலாக்கத்தை உள்ளமைக்கின்றன மற்றும் இந்த வேலையில் பயன்படுத்தப்படும் S3A விருப்பங்களுக்கு மாற்றாக இல்லை.