Hadoop-у су потребни и SOCKS крајња тачка и клијентска фабрика утичница која је чита. Додајте обоје у core-site.xml који се учитава за операцију:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

У Hadoop-у 3.4.2 SocksSocketFactory чита крајњу тачку host:port из своје Configuration и ствара Java утичнице тим путем. За дозвољени јавни TCP тест без аутентификације проксија, компатибилан унос из листе SOCKS проксија може дати hadoop.socks.server; потврдите приступ свим потребним протоколским одредиштима и портовима.

Пре него што претпоставите да је изабрана подразумевана вредност, прегледајте кључ специфичан за протокол: NetUtils прво проверава hadoop.rpc.socket.factory.class. па једноставно име класе протокола. Подразумевану вредност користи само када тај преглед не изабере ниједну фабрику.

Вредност из друге учитане датотеке стога може задржати стару фабрику активном. Прегледајте стварну клијентску Configuration, а не једну XML датотеку на серверу.

То важи тамо где Hadoop користи ту TCP фабрику. Она чува понашање компоненте према одредишној адреси и DNS-у; избор проксија није упутство да се измишљају заменски DNS резултати.

Повезани чланци