SOCKS ligzdu fabrika Hadoop klienta konfigurācijā
Ielādējiet SOCKS galapunktu un fabrikas klasi kopā, pēc tam ņemiet vērā Hadoop protokolam raksturīgos fabrikas pārrakstījumus.
Hadoop ir vajadzīgs gan SOCKS galapunkts, gan to lasošā klienta ligzdu fabrika. Pievienojiet abus operācijai ielādētajā core-site.xml:
<property>
<name>hadoop.socks.server</name>
<value>proxy.example.net:1080</value>
</property>
<property>
<name>hadoop.rpc.socket.factory.class.default</name>
<value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>Hadoop 3.4.2 versijā SocksSocketFactory nolasa host:port galapunktu no savas Configuration un veido Java ligzdas ar šo maršrutu. Atļautam publiskam TCP testam bez starpniekservera autentifikācijas saderīgs ieraksts no SOCKS starpniekserveru saraksta var nodrošināt hadoop.socks.server; apstipriniet piekļuvi visiem nepieciešamajiem protokola galamērķiem un portiem.
Pirms pieņemat, ka izvēlēta noklusējuma vērtība, pārbaudiet protokolam raksturīgo atslēgu: NetUtils vispirms pārbauda hadoop.rpc.socket.factory.class., pēc tam protokola klases vienkāršo nosaukumu. Noklusējuma vērtību tas izmanto tikai tad, ja šī meklēšana neizvēlas nevienu fabriku.
Tāpēc vērtība no cita ielādēta faila var saglabāt veco fabriku aktīvu. Pārbaudiet faktisko klienta Configuration, nevis vienu XML failu serverī.
Tas attiecas uz vietām, kur Hadoop izmanto šo TCP fabriku. Tā saglabā komponenta galamērķa adreses un DNS uzvedību; starpniekservera izvēle nav norādījums izdomāt aizvietojošus DNS rezultātus.