SOCKS-socket-tehdas Hadoopin asiakasasetuksissa
Lataa SOCKS-päätepiste ja tehdasluokka yhdessä ja ota sitten huomioon Hadoopin protokollakohtaiset tehtaan ohitukset.
Hadoop tarvitsee sekä SOCKS-päätepisteen että sen lukevan asiakkaan socket-tehtaan. Lisää molemmat toimintoa varten ladattuun core-site.xml-tiedostoon:
<property>
<name>hadoop.socks.server</name>
<value>proxy.example.net:1080</value>
</property>
<property>
<name>hadoop.rpc.socket.factory.class.default</name>
<value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>Hadoopissa 3.4.2 SocksSocketFactory lukee host:port-päätepisteen Configuration-objektistaan ja luo Java-socketit tätä reittiä käyttäen. Sallittua julkista TCP-testiä varten ilman välityspalvelimen todennusta SOCKS-välityspalvelinluettelon yhteensopiva merkintä voi tarjota hadoop.socks.server-arvon; vahvista pääsy kaikkiin vaadittuihin protokollakohteisiin ja portteihin.
Ennen kuin oletat oletusarvon valituksi, tarkista protokollakohtainen avain: NetUtils tarkistaa ensin hadoop.rpc.socket.factory.class. ja sitten protokollaluokan yksinkertaisen nimen. Se käyttää oletusarvoa vain, kun tämä haku ei valitse yhtään tehdasta.
Toisesta ladatusta tiedostosta peräisin oleva arvo voi siis pitää vanhan tehtaan aktiivisena. Tarkista tehokas asiakas-Configuration sen sijaan, että katsoisit yhtä XML-tiedostoa palvelimella.
Tämä koskee paikkoja, joissa Hadoop käyttää kyseistä TCP-tehdasta. Se säilyttää komponentin kohdeosoite- ja DNS-käyttäytymisen; välityspalvelimen valinta ei ole ohje keksiä korvaavia DNS-tuloksia.