SOCKS фабрика за сокети во клиентската конфигурација на Hadoop

Вчитајте ја заедно SOCKS крајната точка и класата на фабриката, потоа земете ги предвид прекривањата на фабриката специфични за протоколот во Hadoop.

На Hadoop му требаат и SOCKS крајната точка и клиентска фабрика за сокети што ја чита. Додадете ги двете во core-site.xml вчитан за операцијата:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

Во Hadoop 3.4.2 SocksSocketFactory ја чита крајната точка host:port од својата Configuration и создава Java сокети со таа рута. За дозволен јавен TCP тест без автентикација на прокси, компатибилен запис од списокот со SOCKS прокси сервери може да обезбеди hadoop.socks.server; потврдете пристап до сите потребни протоколни одредишта и порти.

Пред да претпоставите дека е избрана стандардната вредност, проверете го клучот специфичен за протоколот: NetUtils прво го проверува hadoop.rpc.socket.factory.class., потоа едноставното име на класата на протоколот. Стандардната вредност ја користи само кога тоа пребарување не избира ниту една фабрика.

Затоа вредност од друга вчитана датотека може да ја задржи старата фабрика активна. Проверувајте ја ефективната клиентска Configuration, а не една XML датотека на сервер.

Ова важи таму каде Hadoop ја користи таа TCP фабрика. Таа го запазува однесувањето на компонентата за адреса на одредиште и DNS; изборот на прокси не е упатство да се измислуваат заменски DNS резултати.

Поврзани статии