Hadoop DistCp: ୱାର୍କର ଟାସ୍କରେ S3A ପ୍ରକ୍ସି କନଫିଗର କରନ୍ତୁ

HTTP ପ୍ରକ୍ସି ମାଧ୍ୟମରେ Hadoop 3.4.2 ର S3A କନେକ୍ଟର ପାଇଁ, ଏହି ଏଣ୍ଟ୍ରିଗୁଡ଼ିକୁ ଅପରେସନର Hadoop କନଫିଗରେସନରେ, ସାଧାରଣତଃ ପ୍ରଯୁଜ୍ୟ core-site.xml ରେ, ମିଶାନ୍ତୁ:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

ପ୍ରକ୍ସି କ୍ରେଡେନସିଆଲ ସେଟ ନକରି ସାର୍ବଜନୀନ ଭାବରେ ଉପଲବ୍ଧ S3 ଏଣ୍ଡପଏଣ୍ଟ ବିରୁଦ୍ଧରେ ପୃଥକ ଭାବରେ ଅନୁମୋଦିତ ପରୀକ୍ଷା ପାଇଁ, HTTP ପ୍ରକ୍ସି ତାଲିକା ହୋଷ୍ଟନାମ ଏବଂ ସ୍ପଷ୍ଟ ପୋର୍ଟ ପାଇଁ ପ୍ରାର୍ଥୀ ମୂଲ୍ୟ ଯୋଗାଏ। fs.s3a.proxy.ssl.enabled=false ଏହି ପ୍ରକ୍ସି ସହିତ ସରଳ HTTP ସଂଯୋଗ ବାଛେ; ଏହା S3A ରୁ S3 ପର୍ଯ୍ୟନ୍ତ TLS ବନ୍ଦ କରେ ନାହିଁ। ପ୍ରକୃତ ପ୍ରକ୍ସି ଲିସନର ସହିତ ମେଳ ଖାଉଥିବା ମୂଲ୍ୟ ବ୍ୟବହାର କରନ୍ତୁ।

ଉଭୟ ଗ୍ରାହକ ଯାଞ୍ଚ କରନ୍ତୁ। ସବମିଟ କରୁଥିବା କ୍ଲାଏଣ୍ଟ S3 କୁ ସଫଳତାର ସହିତ ତାଲିକାଭୁକ୍ତ କରିପାରେ, ମାତ୍ର DistCp ମ୍ୟାପ-ଟାସ୍କ କଣ୍ଟେନରଗୁଡ଼ିକ ପ୍ରକ୍ସି ପର୍ଯ୍ୟନ୍ତ ପହଞ୍ଚିପାରନ୍ତି ନାହିଁ କିମ୍ବା ସେହି ଫାଇଲସିଷ୍ଟମ କନଫିଗରେସନ ଲୋଡ କରିପାରନ୍ତି ନାହିଁ। ସେହି ଟାସ୍କଗୁଡ଼ିକ ସ୍ଥାନାନ୍ତର କରନ୍ତି।

ବିଫଳ ଟାସ୍କ ପାଇଁ, ଏକଜିକ୍ୟୁସନ ହୋଷ୍ଟ, ପ୍ରଭାବୀ କନଫିଗରେସନ ଏବଂ ଚୟନିତ ଏଣ୍ଡପଏଣ୍ଟକୁ ତ୍ରୁଟି ସହିତ ରଖନ୍ତୁ। ସବମିଶନ ଶେଲର ପରିବେଶ ୱାର୍କର ପାଇଁ ପର୍ଯ୍ୟାପ୍ତ ପ୍ରମାଣ ନୁହେଁ।

ଏହି ସେଟିଂସମୂହ s3a:// କୁ ନିୟନ୍ତ୍ରଣ କରେ। ପୁରୁଣା Jets3t କନେକ୍ଟର ରେସିପିଗୁଡ଼ିକ ଅନ୍ୟ ଏକ କାର୍ଯ୍ୟାନ୍ୱୟନ କନଫିଗର କରେ ଏବଂ ଏହି କାର୍ଯ୍ୟରେ ବ୍ୟବହୃତ S3A ବିକଳ୍ପଗୁଡ଼ିକର ବିକଳ୍ପ ନୁହେଁ।