Hadoop ના ક્લાયન્ટ કન્ફિગરેશનમાં SOCKS સોકેટ ફેક્ટરી

Hadoop ને SOCKS એન્ડપોઇન્ટ અને તેને વાંચતી ક્લાયન્ટ સોકેટ ફેક્ટરી બંનેની જરૂર છે. બંનેને ઓપરેશન માટે લોડ કરેલ core-site.xml માં ઉમેરો:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

Hadoop 3.4.2 માં, SocksSocketFactory પોતાના Configuration માંથી host:port એન્ડપોઇન્ટ વાંચે છે અને તે માર્ગ સાથે Java સોકેટ બનાવે છે. પ્રોક્સી પ્રમાણીકરણ વિનાની માન્ય જાહેર TCP કસોટી માટે, SOCKS પ્રોક્સી યાદીમાંથી સુસંગત એન્ટ્રી hadoop.socks.server પૂરી પાડી શકે છે; જરૂરી તમામ પ્રોટોકોલ ગંતવ્યો અને પોર્ટ સુધીની પહોંચ ખાતરી કરો.

ડિફૉલ્ટ પસંદ થયો છે એમ ધારવા પહેલાં પ્રોટોકોલ-વિશિષ્ટ કી તપાસો: NetUtils પહેલાં hadoop.rpc.socket.factory.class. અને પછી પ્રોટોકોલ ક્લાસનું સાદું નામ તપાસે છે. તે ડિફૉલ્ટનો ઉપયોગ ત્યારે જ કરે છે જ્યારે એ શોધ કોઈ ફેક્ટરી પસંદ ન કરે.

તેથી બીજી લોડ કરેલ ફાઇલનું મૂલ્ય જૂની ફેક્ટરી સક્રિય રાખી શકે છે. સર્વર પરની એક XML ફાઇલને બદલે અસરકારક ક્લાયન્ટ Configuration તપાસો.

આ ત્યાં લાગુ પડે છે જ્યાં Hadoop એ TCP ફેક્ટરી વાપરે છે. તે ઘટકના ગંતવ્ય-સરનામા અને DNS વર્તન જાળવે છે; પ્રોક્સી પસંદ કરવી એ બદલીના DNS પરિણામો ઘડવાની સૂચના નથી.