Një fabrikë soketësh SOCKS në konfigurimin e klientit të Hadoop

Hadoop ka nevojë si për pikën fundore SOCKS ashtu edhe për një fabrikë soketësh klienti që e lexon atë. Shtoni të dyja në core-site.xml të ngarkuar për operacionin:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

Në Hadoop 3.4.2, SocksSocketFactory lexon pikën fundore host:port nga Configuration i tij dhe krijon soketë Java me atë rrugë. Për një test TCP publik të lejuar pa autentikim proxy, një zë i përputhshëm nga lista e proxy-ve SOCKS mund të sigurojë hadoop.socks.server; konfirmoni aksesin në të gjitha destinacionet dhe portat e protokollit të kërkuara.

Përpara se të supozoni se është zgjedhur vlera e paracaktuar, kontrolloni çelësin specifik për protokollin: NetUtils kontrollon fillimisht hadoop.rpc.socket.factory.class. e më pas emrin e thjeshtë të klasës së protokollit. Vlerën e paracaktuar e përdor vetëm kur ai kërkim nuk zgjedh asnjë fabrikë.

Prandaj, një vlerë nga një skedar tjetër i ngarkuar mund ta mbajë fabrikën e vjetër aktive. Kontrolloni Configuration-in efektiv të klientit dhe jo një skedar të vetëm XML në një server.

Kjo vlen aty ku Hadoop përdor atë fabrikë TCP. Ajo ruan sjelljen e adresës së destinacionit dhe DNS të komponentit; zgjedhja e proxy-t nuk është udhëzim për të sajuar rezultate DNS zëvendësuese.