Hadoop DistCp: קאָנפיגורירן דעם S3A פּראָקסי אויף אַרבעטער־אויפֿגאַבעס

פֿאַר Hadoop 3.4.2׳ס S3A פֿאַרבינדער דורכן HTTP פּראָקסי, פֿאַרבינד די פּונקטן אין דער Hadoop קאָנפֿיגוראַציע פֿונעם אָפּעראַציע, געוויינטלעך דעם פּאַסיקן core-site.xml:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

פֿאַר אַ באַזונדער דערלויבטן פּרובירן קעגן אַ בפֿירים צוטריטלעכן S3 ענדפּונקט אָן פּראָקסי־באַשטעטיקונג, די HTTP פּראָקסי ליסטע פֿאָרשלאָגט קאַנדידאַט ווערטן פֿאַר דעם האָסט־נאָמען און דעם מפורשדיקן פּאָרט. fs.s3a.proxy.ssl.enabled=false קלייבט אַ פּשוטן HTTP פֿאַרבינדונג צו דעם פּראָקסי; עס שאַלט נישט אָפּ TLS פֿון S3A צו S3. ניצט דעם ווערט וואָס שטימט מיטן טאַקע פּראָקסי־צוהערער.

פּרופֿט ביידע פֿאַרניצער. דער אַרייַנשיקער קליענט קען מצליח זיין אויסרעכענען S3 בשעת די קאָנטיינערס פֿון DistCp מאַפּ־אויפֿגאַבעס קענען נישט דערגרייכן דעם פּראָקסי אָדער אָפּלאָדן די זעלבע פֿילסיסטעם קאָנפֿיגוראַציע. די אויפֿגאַבעס פֿירן אויס די איבערפֿירונגען.

פֿאַר אַ דורכגעפֿאַלענער אויפֿגאַבע, האַלט דעם אויספֿיר־האָסט, די עפעקטיווע קאָנפֿיגוראַציע און דעם אויסגעקליבענעם ענדפּונקט צוזאַמען מיטן פֿעלער. די סבֿיבֿה פֿון דער אַרייַנשיק־שעל איז נישט גענוג באַווײַז פֿאַר אַן אַרבעטער.

די באַשטעלונגען באַהערשן s3a://. עלטערע רעצעפּטן פֿון דעם Jets3t פֿאַרבינדער קאָנפיגורירן אַן אַנדער אימפּלעמענטאַציע און ערזעצן נישט די S3A אָפּציעס וואָס די אַרבעט ניצט.