Isang SOCKS socket factory sa configuration ng client ng Hadoop

Magkargang magkasama ang SOCKS endpoint at factory class, pagkatapos isaalang-alang ang mga override ng factory na partikular sa protocol sa Hadoop.

Kailangan ng Hadoop ang SOCKS endpoint at isang client socket factory na bumabasa nito. Idagdag ang dalawa sa core-site.xml na kinakarga para sa operasyon:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

Sa Hadoop 3.4.2, binabasa ng SocksSocketFactory ang host:port endpoint mula sa Configuration nito at gumagawa ng mga Java socket sa rutang iyon. Para sa pinahihintulutang pampublikong pagsubok ng TCP na walang proxy authentication, isang tugmang entry mula sa listahan ng SOCKS proxy ang maaaring magbigay ng hadoop.socks.server; tiyakin ang access sa lahat ng kinakailangang destinasyon at port ng protocol.

Bago ipagpalagay na napili ang default, suriin ang key na partikular sa protocol: sinusuri muna ng NetUtils ang hadoop.rpc.socket.factory.class. kasunod ang simpleng pangalan ng protocol class. Ginagamit lamang nito ang default kapag walang factory na napili ng paghahanap na iyon.

Kaya't ang halaga mula sa isa pang kargadong file ay maaaring panatilihing aktibo ang lumang factory. Suriin ang epektibong Configuration ng client sa halip na isang XML file sa isang server.

Naaangkop ito kung saan ginagamit ng Hadoop ang TCP factory na iyon. Pinapanatili nito ang pag-uugali ng destinasyong address at DNS ng bahagi; ang pagpili ng proxy ay hindi tagubilin na gumawa ng kapalit na resulta ng DNS.

Kaugnay na mga artikulo