Hadoop DistCp: వర్కర్ టాస్క్‌లపై S3A ప్రాక్సీని కాన్ఫిగర్ చేయండి

HTTP ప్రాక్సీ ద్వారా Hadoop 3.4.2 యొక్క S3A కనెక్టర్ కోసం, ఈ ఎంట్రీలను ఆపరేషన్ యొక్క Hadoop కాన్ఫిగరేషన్‌లో, సాధారణంగా వర్తించే core-site.xml‌లో, విలీనం చేయండి:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

ప్రాక్సీ ఆధారాలు సెట్ చేయకుండా బహిరంగంగా చేరుకోగల S3 ఎండ్‌పాయింట్‌కు వ్యతిరేకంగా విడిగా అనుమతించబడిన పరీక్ష కోసం, HTTP ప్రాక్సీ జాబితా హోస్ట్‌నేమ్ మరియు స్పష్టమైన పోర్ట్ కోసం అభ్యర్థి విలువలను అందిస్తుంది. fs.s3a.proxy.ssl.enabled=false ఈ ప్రాక్సీకి సాదా HTTP కనెక్షన్‌ను ఎంచుకుంటుంది; ఇది S3A నుండి S3 వరకు TLS ను నిలిపివేయదు. అసలు ప్రాక్సీ లిజనర్‌కు సరిపోయే విలువను ఉపయోగించండి.

రెండు వినియోగదారులను తనిఖీ చేయండి. సమర్పించే క్లయింట్ S3 ను విజయవంతంగా జాబితా చేయవచ్చు, కానీ DistCp మ్యాప్-టాస్క్ కంటైనర్లు ప్రాక్సీని చేరుకోలేవు లేదా అదే ఫైల్‌సిస్టమ్ కాన్ఫిగరేషన్‌ను లోడ్ చేయలేవు. ఆ టాస్క్‌లే బదిలీలు చేస్తాయి.

విఫలమైన టాస్క్ కోసం, ఎగ్జిక్యూషన్ హోస్ట్, ప్రభావవంతమైన కాన్ఫిగరేషన్ మరియు ఎంచుకున్న ఎండ్‌పాయింట్‌ను లోపంతో పాటు ఉంచండి. సమర్పణ షెల్ యొక్క వాతావరణం వర్కర్‌కు సరిపోయే సాక్ష్యం కాదు.

ఈ సెట్టింగ్‌లు s3a:// ను నియంత్రిస్తాయి. పాత Jets3t కనెక్టర్ వంటకాలు మరొక అమలును కాన్ఫిగర్ చేస్తాయి మరియు ఈ పనిలో ఉపయోగించే S3A ఎంపికలకు ప్రత్యామ్నాయం కావు.