Hadoop DistCp: suidhich am proxy S3A air gnìomhan luchd-obrach

Airson ceanglaiche S3A Hadoop 3.4.2 tro proxy HTTP, measgaich na h-inntrigidhean seo ann an rèiteachadh Hadoop na h-obrach, mar as trice an core-site.xml iomchaidh:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Airson deuchainn a tha ceadaichte gu neo-eisimeileach an aghaidh puing-chrìochnaich S3 a tha ruigsinneach gu poblach gun teisteanasan proxy, tha an liosta proxy HTTP a' solar luachan tagraidh airson ainm an òstair agus am port follaiseach. Taghas fs.s3a.proxy.ssl.enabled=false ceangal HTTP sìmplidh ris a' phroxy seo; chan eil e a' cur TLS à comas bho S3A gu S3. Cleachd an luach a tha a' freagairt don fhìor neach-èisteachd proxy.

Thoir sùil air an dà chleachdaiche. Faodaidh an neach-dèiligidh a tha a' cur a-steach S3 a liostadh gu soirbheachail fhad 's nach urrainn do shoithichean gnìomhan map DistCp am proxy a ruighinn no an aon rèiteachadh siostam faidhle a luchdadh. 'S e na gnìomhan sin a nì na gluasadan.

Airson gnìomh a dh'fhàillig, cùm an t-òstair cur gu bàs, an rèiteachadh èifeachdach agus a' phuing-chrìochnaich a thagh thu còmhla ris a' mhearachd. Chan eil àrainneachd slige na cur-a-steach na fhianais gu leòr airson neach-obrach.

Tha na suidheachaidhean seo a' riaghladh s3a://. Bidh seann reasabaidhean ceanglaiche Jets3t a' suidheachadh buileachadh eile agus cha ghabh iad àite roghainnean S3A a tha an obair seo a' cleachdadh.