Hadoop treba i SOCKS krajnju tačku i klijentsku tvornicu utičnica koja je čita. Dodajte oboje u core-site.xml koji se učitava za operaciju:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

U Hadoopu 3.4.2 SocksSocketFactory čita krajnju tačku host:port iz svoje Configuration i stvara Java utičnice tim putem. Za dopušteni javni TCP test bez provjere autentičnosti proksija, kompatibilan unos iz liste SOCKS proksija može dati hadoop.socks.server; potvrdite pristup svim potrebnim odredištima protokola i portovima.

Prije nego pretpostavite da je odabrano zadano, pregledajte ključ specifičan za protokol: NetUtils prvo provjerava hadoop.rpc.socket.factory.class. pa jednostavno ime klase protokola. Zadano koristi samo kada taj pregled ne odabere nijednu tvornicu.

Vrijednost iz druge učitane datoteke stoga može zadržati staru tvornicu aktivnom. Pregledajte stvarnu klijentsku Configuration, a ne jednu XML datoteku na serveru.

To vrijedi tamo gdje Hadoop koristi tu TCP tvornicu. Ona čuva ponašanje komponente prema odredišnoj adresi i DNS-u; odabir proksija nije uputa da se izmišljaju zamjenski DNS rezultati.

Povezani članci