Hadoop DistCp: u habee boroksee S3A ee hawlgallada shaqaalaha

U habee boroksee isku-xirka S3A ee Hadoop oo ka dhig habaynta mid diyaar ah halka shaqaalaha DistCp ay ku sameeyaan wareejintooda.

Isku-xirka S3A ee Hadoop 3.4.2 ee mara boroksee HTTP, ku dar qoraalladan habaynta Hadoop ee hawlgalka, sida caadiga ah core-site.xml ee khuseeya:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Tijaabo si gaar ah loo ogolaaday oo ka dhan ah barta S3 ee dadweynaha gaari karo oo aan lahayn aqoonsi boroksee, liiska boroksee HTTP wuxuu bixiyaa qiyamka suurtagalka ah ee magaca martigeliyaha iyo dekedda cad. fs.s3a.proxy.ssl.enabled=false wuxuu doortaa xiriir HTTP caadi ah oo ku socda borokseetan; ma daminayo TLS ee S3A ilaa S3. Isticmaal qiimaha u dhigma dhageystaha boroksee ee dhabta ah.

Hubi labada isticmaale. Macmiilka soo gudbinaya waxa laga yaabaa inuu si guul leh u taxo S3, halka konteenarada hawlgallada khariidadda DistCp aysan gaari karin boroksee ama aysan soo dejisan karin isla habaynta nidaamka faylka. Hawlgalladaas ayaa sameeya wareejinta.

Hawlgal ku guuldareystay, hay martigeliyaha fulinta, habaynta dhaqan galka ah iyo barta la doortay oo ay la socoto khaladka. Deegaanka qolofka soo gudbinta kuma filna caddayn shaqaale.

Dejintan waxay maamushaa s3a://. Cunto karinta isku-xirka Jets3t ee hore waxay habaynayaan hirgelin kale mana beddelaan xulashooyinka S3A ee shaqadan isticmaalayso.

Maqaallo la xiriira