Hadoop DistCp: կարգավորել S3A պրոքսին աշխատող առաջադրանքներում

Hadoop 3.4.2-ի S3A միակցիչի համար HTTP պրոքսի միջոցով միացրեք այս գրառումները գործողության Hadoop կոնֆիգուրացիային, սովորաբար համապատասխան core-site.xml-ին՝

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Առանձին թույլատրված թեստի համար հանրությանը հասանելի S3 վերջնակետի դեմ՝ առանց պրոքսի հավատարմագրերի, HTTP պրոքսիների ցանկը առաջարկում է հավանական արժեքներ հոսթի անվան և բաց պորտի համար։ fs.s3a.proxy.ssl.enabled=false ընտրում է պարզ HTTP կապ այս պրոքսի հետ. այն չի անջատում TLS-ը S3A-ից S3։ Օգտագործեք իրական պրոքսի լսողին համապատասխանող արժեքը։

Ստուգեք երկու սպառողներին։ Ուղարկող հաճախորդը կարող է հաջողությամբ ցանկարկել S3-ը, մինչդեռ DistCp քարտեզ-առաջադրանքների կոնտեյներները չեն կարող հասնել պրոքսիին կամ բեռնել նույն ֆայլային համակարգի կոնֆիգուրացիան։ Փոխանցումները կատարում են հենց այդ առաջադրանքները։

Ձախողված առաջադրանքի համար պահեք կատարման հոսթը, գործող կոնֆիգուրացիան և ընտրված վերջնակետը սխալի հետ միասին։ Ուղարկող shell-ի միջավայրը բավարար ապացույց չէ աշխատողի համար։

Այս կարգավորումները կառավարում են s3a://-ը։ Jets3t միակցիչի հին բաղադրատոմսերը կարգավորում են այլ իրականացում և չեն փոխարինում այս աշխատանքում օգտագործվող S3A ընտրանքներին։