Hadoop DistCp: S3A proxy'sini worker görevlerinde yapılandırma

Hadoop S3A bağlayıcısının proxy'sini yapılandırın ve yapılandırmayı DistCp worker'larının aktarımlarını gerçekleştirdiği yerde kullanılabilir hale getirin.

Hadoop 3.4.2'nin S3A bağlayıcısı için HTTP proxy üzerinden bu girdileri işlemin Hadoop yapılandırmasına, genellikle ilgili core-site.xml dosyasına birleştirin:

<property>
  <name>fs.s3a.proxy.host</name>
  <value>gateway.example</value>
</property>
<property>
  <name>fs.s3a.proxy.port</name>
  <value>8080</value>
</property>
<property>
  <name>fs.s3a.proxy.ssl.enabled</name>
  <value>false</value>
</property>

Proxy kimlik bilgileri yapılandırılmadan genel olarak erişilebilir bir S3 uç noktasına karşı ayrıca izin verilen bir test için HTTP proxy listesi, ana bilgisayar adı ve açık port için aday değerler sunar. fs.s3a.proxy.ssl.enabled=false bu proxy'ye düz HTTP bağlantısı seçer; S3A'dan S3'e TLS'i devre dışı bırakmaz. Gerçek proxy dinleyicisine uyan değeri kullanın.

Her iki tüketiciyi de denetleyin. Gönderen istemci S3'ü başarıyla listeleyebilirken DistCp map görevlerinin kapsayıcıları proxy'ye ulaşamayabilir veya aynı dosya sistemi yapılandırmasını yükleyemeyebilir. Aktarımları bu görevler gerçekleştirir.

Başarısız bir görev için yürütme ana bilgisayarını, geçerli yapılandırmayı ve seçilen uç noktayı hatayla birlikte saklayın. Gönderim kabuğunun ortamı bir worker için yeterli kanıt değildir.

Bu ayarlar s3a:// için geçerlidir. Eski Jets3t bağlayıcı tarifleri başka bir uygulamayı yapılandırır ve bu işin kullandığı S3A seçeneklerinin yerini tutmaz.

İlgili makaleler