Hadoop DistCp: ṣàtúnṣe S3A proxy lórí àwọn iṣẹ́ òṣìṣẹ́

Fún Hadoop 3.4.2 S3A connector nípasẹ̀ HTTP proxy, dàpọ̀ àwọn àkọsílẹ̀ wọ̀nyí mọ́ ìṣètò Hadoop ti iṣẹ́ náà, ní gbogbo ìgbà core-site.xml tó yẹ:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Fún ìdánwò tí a gbà láyọ̀ gbé lórí S3 endpoint tí gbogbo ènìyàn lè dé, láìsí ẹ̀rí proxy, àkójọ HTTP proxy ń pèsè àwọn iye tó ṣeé yàn fún orúkọ host àti port tó ṣe kedere. fs.s3a.proxy.ssl.enabled=false yan ìsopọ̀ HTTP tó rọrùn sí proxy yìí; kò pa TLS kúrò láti S3A sí S3. Lo iye tó bá listener proxy gidi mu.

Ṣàyẹ̀wò àwọn olùlò méjèèjì. Olùpèsè tó ń fi ránṣẹ́ lè ṣe àkójọ S3 ní àṣeyọrí nígbà tí àwọn container iṣẹ́ map DistCp kò lè dé proxy tàbí kó gbé ìṣètò fáìlìsístẹ̀mù kan náà. Àwọn iṣẹ́ yẹn ni wọ́n ń ṣe àwọn ìgbékalẹ̀.

Fún iṣẹ́ tó kùnà, pa host ìṣe, ìṣètò tó wúlò àti endpoint tí a yàn mọ́ pẹ̀lú àṣìṣe. Àyíká shell ìfiránṣẹ́ kò tó ẹ̀rí fún òṣìṣẹ́.

Àwọn ìṣètò wọ̀nyí ń ṣàkóso s3a://. Àwọn ìlànà Jets3t connector àtijọ́ ń ṣàtúnṣe ìmúṣẹ mìíràn wọn kò sì rọ́pò àwọn àṣàyàn S3A tí iṣẹ́ yìí ń lò.