Kilang soket SOCKS dalam konfigurasi klien Hadoop

Hadoop memerlukan titik akhir SOCKS dan kilang soket klien yang membacanya. Tambah kedua-duanya ke core-site.xml yang dimuatkan untuk operasi itu:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

Dalam Hadoop 3.4.2, SocksSocketFactory membaca titik akhir host:port daripada Configuration-nya dan mencipta soket Java dengan laluan itu. Untuk ujian TCP awam yang dibenarkan tanpa pengesahan proksi, entri serasi daripada senarai proksi SOCKS boleh membekalkan hadoop.socks.server; sahkan akses ke semua destinasi dan port protokol yang diperlukan.

Sebelum menganggap nilai lalai dipilih, periksa kunci khusus protokol: NetUtils memeriksa hadoop.rpc.socket.factory.class. dahulu, kemudian nama ringkas kelas protokol. Ia menggunakan nilai lalai hanya apabila carian itu tidak memilih sebarang kilang.

Oleh itu nilai daripada fail lain yang dimuatkan boleh mengekalkan kilang lama aktif. Periksa Configuration klien yang berkesan dan bukan satu fail XML pada pelayan.

Ini terpakai di tempat Hadoop menggunakan kilang TCP itu. Ia mengekalkan tingkah laku alamat destinasi dan DNS komponen; memilih proksi bukan arahan untuk mereka hasil DNS ganti.