Hadoop DistCp: વર્કર ટાસ્ક પર S3A પ્રોક્સી ગોઠવો

HTTP પ્રોક્સી દ્વારા Hadoop 3.4.2 ના S3A કનેક્ટર માટે, આ એન્ટ્રીઓ ઓપરેશનના Hadoop રૂપરેખાંકનમાં, સામાન્ય રીતે લાગુ core-site.xml માં, ઉમેરો:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

પ્રોક્સી ઓળખપત્રો ગોઠવ્યા વિના જાહેરમાં પહોંચી શકાય તેવા S3 એન્ડપોઇન્ટ સામે સ્વતંત્ર રીતે અધિકૃત પરીક્ષણ માટે, HTTP પ્રોક્સી યાદી યજમાનનામ અને સ્પષ્ટ પોર્ટ માટે ઉમેદવાર મૂલ્યો પૂરા પાડે છે. fs.s3a.proxy.ssl.enabled=false આ પ્રોક્સીમાં સાદું HTTP જોડાણ પસંદ કરે છે; તે S3A થી S3 સુધી TLS બંધ કરતું નથી. વાસ્તવિક પ્રોક્સી શ્રોતા સાથે મેળ ખાતું મૂલ્ય વાપરો.

બંને ગ્રાહકો તપાસો. સબમિટ કરનાર ક્લાઇન્ટ S3 ને સફળતાપૂર્વક સૂચિબદ્ધ કરી શકે છે, જ્યારે DistCp મેપ-ટાસ્ક કન્ટેનર પ્રોક્સી સુધી પહોંચી શકતા નથી અથવા સમાન ફાઇલસિસ્ટમ રૂપરેખાંકન લોડ કરી શકતા નથી. તે ટાસ્ક જ સ્થાનાંતરણ કરે છે.

નિષ્ફળ ટાસ્ક માટે, એક્ઝિક્યુશન હોસ્ટ, અસરકારક રૂપરેખાંકન અને પસંદ કરેલ એન્ડપોઇન્ટ ભૂલ સાથે રાખો. સબમિશન શેલનું પર્યાવરણ વર્કર માટે પૂરતો પુરાવો નથી.

આ સેટિંગ્સ s3a:// ને નિયંત્રિત કરે છે. જૂની Jets3t કનેક્ટર રેસિપીઓ બીજું અમલીકરણ ગોઠવે છે અને આ કામમાં વપરાતા S3A વિકલ્પોનો વિકલ્પ નથી.