Una fàbrica de sockets SOCKS a la configuració del client de Hadoop

Carregueu l'extrem SOCKS i la classe de fàbrica junts, i després tingueu en compte les substitucions de fàbrica específiques del protocol de Hadoop.

Hadoop necessita tant l'extrem SOCKS com una fàbrica de sockets de client que el llegeixi. Afegiu tots dos al core-site.xml carregat per a l'operació:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

A Hadoop 3.4.2, SocksSocketFactory llegeix l'extrem host:port de la seva Configuration i crea sockets Java amb aquesta ruta. Per a una prova TCP pública permesa sense autenticació de proxy, una entrada compatible de la llista de proxys SOCKS pot proporcionar hadoop.socks.server; confirmeu l'accés a totes les destinacions i ports de protocol necessaris.

Abans de suposar que s'ha seleccionat el valor per defecte, inspeccioneu la clau específica del protocol: NetUtils primer comprova hadoop.rpc.socket.factory.class. seguit del nom simple de la classe de protocol. Només usa el valor per defecte quan aquesta cerca no selecciona cap fàbrica.

Per tant, un valor d'un altre fitxer carregat pot mantenir activa la fàbrica antiga. Inspeccioneu la Configuration efectiva del client en lloc d'un sol fitxer XML en un servidor.

Això s'aplica on Hadoop usa aquesta fàbrica TCP. Conserva el comportament d'adreça de destinació i DNS del component; triar el proxy no és una instrucció per inventar resultats DNS de substitució.

Articles relacionats