Ein SOCKS-socketfabrikk i klientkonfigurasjonen til Hadoop

Last SOCKS-endepunktet og fabrikkklassen saman, og ta deretter omsyn til dei protokollspesifikke fabrikkoverstyringane i Hadoop.

Hadoop treng både SOCKS-endepunktet og ein klient-socketfabrikk som les det. Legg begge til i core-site.xml som blir lasta for operasjonen:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

I Hadoop 3.4.2 les SocksSocketFactory host:port-endepunktet frå Configuration sin og lagar Java-sockets med den ruta. For ein tillaten offentleg TCP-test utan proxyautentisering kan ein kompatibel oppføring frå SOCKS-proxylista levera hadoop.socks.server; stadfest tilgang til alle nødvendige protokollmål og portar.

Før du går ut frå at standarden er vald, undersøk den protokollspesifikke nøkkelen: NetUtils sjekkar først hadoop.rpc.socket.factory.class. etterfølgd av det enkle namnet på protokollklassen. Han brukar standarden berre når det oppslaget ikkje vel nokon fabrikk.

Ein verdi frå ei anna innlasta fil kan difor halde den gamle fabrikken aktiv. Undersøk den effektive klientkonfigurasjonen i staden for éi XML-fil på ein tenar.

Dette gjeld der Hadoop brukar den TCP-fabrikken. Han bevarer åtferda til komponenten for måladdresse og DNS; valet av proxy er ikkje eit pålegg om å finne opp erstatnings-DNS-resultat.

Relaterte artiklar