Hadoop DistCp፦ በሠራተኛ ተግባራት ላይ የS3A ፕሮክሲን ማዋቀር

ለHadoop 3.4.2 የS3A አገናኝ በHTTP ፕሮክሲ ለማሳለፍ፣ እነዚህን ግቤቶች በክዋኔው Hadoop ውቅር ውስጥ ያካትቱ፤ በተለምዶ ተግባራዊው core-site.xml፦

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

የፕሮክሲ ማስረጃ ሳይዘጋጅ በይፋ ለሚደረስ S3 መጨረሻ ነጥብ ላይ ለተለየ ፈቃድ ያለው ሙከራ፣ የHTTP ፕሮክሲ ዝርዝር ለአስተናጋጅ ስምና ግልጽ ወደብ እጩ እሴቶችን ያቀርባል። fs.s3a.proxy.ssl.enabled=false ወደዚህ ፕሮክሲ ቀላል HTTP ግንኙነት ይመርጣል፤ ከS3A ወደ S3 TLSን አያሰናክልም። ከትክክለኛው የፕሮክሲ አድማጭ ጋር የሚስማማውን እሴት ይጠቀሙ።

ሁለቱንም ተጠቃሚዎች ያረጋግጡ። አስገቢው ደንበኛ S3ን በተሳካ ሁኔታ ሊዘርዝ ይችላል፣ የDistCp ካርታ ተግባር ኮንቴይነሮች ግን ፕሮክሲውን ማግኘት ወይም ተመሳሳዩን የፋይል ስርዓት ውቅር መጫን ላይችሉ ይችላሉ። ዝውውሮቹን የሚፈጽሙት እነዚያ ተግባራት ናቸው።

ለተሳነ ተግባር፣ የአፈጻጸም አስተናጋጁን፣ ትክክለኛውን ውቅርና የተመረጠውን መጨረሻ ነጥብ ከስህተቱ ጋር ያስቀምጡ። የማስገቢያ ሼል አካባቢ ለሠራተኛ በቂ ማስረጃ አይደለም።

እነዚህ ቅንብሮች s3a://ን ይመራሉ። የቆዩ የJets3t አገናኝ መመሪያዎች ሌላ አተገባበር ያዋቅራሉ፤ በዚህ ሥራ ጥቅም ላይ የዋሉትን የS3A አማራጮች አይተኩም።