Hadoop potrebuje tako končno točko SOCKS kot odjemalsko tovarno vtičnic, ki jo bere. Dodajte oboje v core-site.xml, naložen za operacijo:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

V Hadoopu 3.4.2 SocksSocketFactory bere končno točko host:port iz svoje Configuration in ustvari vtičnice Java s to potjo. Za dovoljen javni preizkus TCP brez preverjanja pristnosti posrednika lahko združljiv vnos s seznama posrednikov SOCKS zagotovi hadoop.socks.server; potrdite dostop do vseh zahtevanih ciljev protokola in vrat.

Preden domnevate, da je izbrana privzeta vrednost, preglejte ključ, specifičen za protokol: NetUtils najprej preveri hadoop.rpc.socket.factory.class., nato preprosto ime razreda protokola. Privzeto vrednost uporabi le, kadar to iskanje ne izbere nobene tovarne.

Vrednost iz druge naložene datoteke lahko zato ohrani staro tovarno aktivno. Preglejte dejansko odjemalsko Configuration, ne ene datoteke XML na strežniku.

To velja tam, kjer Hadoop uporablja to tovarno TCP. Ohranja vedenje komponente glede ciljnega naslova in DNS; izbira posrednika ni navodilo za izmišljanje nadomestnih rezultatov DNS.

Sorodni članki