ໂຮງງານຊັອກເກັດ SOCKS ໃນການຕັ້ງຄ່າລູກຂ່າຍ Hadoop

Hadoop ຕ້ອງການທັງຈຸດປາຍ SOCKS ແລະໂຮງງານຊັອກເກັດລູກຂ່າຍທີ່ອ່ານມັນ. ເພີ່ມທັງສອງໃສ່ core-site.xml ທີ່ໂຫຼດສຳລັບການດຳເນີນງານ:

<property>
  <name>hadoop.socks.server</name>
  <value>proxy.example.net:1080</value>
</property>
<property>
  <name>hadoop.rpc.socket.factory.class.default</name>
  <value>org.apache.hadoop.net.SocksSocketFactory</value>
</property>

ໃນ Hadoop 3.4.2, SocksSocketFactory ອ່ານຈຸດປາຍ host:port ຈາກ Configuration ຂອງມັນ ແລະສ້າງ Java socket ດ້ວຍເສັ້ນທາງນັ້ນ. ສຳລັບການທົດສອບ TCP ສາທາລະນະທີ່ອະນຸຍາດໂດຍບໍ່ມີການຢືນຢັນພຣັອກຊີ, ລາຍການທີ່ເຂົ້າກັນໄດ້ຈາກລາຍຊື່ພຣັອກຊີ SOCKS ສາມາດໃຫ້ hadoop.socks.server; ຢືນຢັນການເຂົ້າເຖິງປາຍທາງ ແລະພອດຂອງໂປຣໂຕຄອນທີ່ຕ້ອງການທັງໝົດ.

ກ່ອນຈະສົມມຸດວ່າເລືອກຄ່າເລີ່ມຕົ້ນແລ້ວ, ກວດກາກະແຈສະເພາະໂປຣໂຕຄອນ: NetUtils ກວດ hadoop.rpc.socket.factory.class. ກ່ອນ ແລ້ວຈຶ່ງກວດຊື່ງ່າຍໆຂອງຄລາສໂປຣໂຕຄອນ. ມັນໃຊ້ຄ່າເລີ່ມຕົ້ນພຽງແຕ່ເມື່ອການຄົ້ນຫານັ້ນບໍ່ເລືອກໂຮງງານໃດໆ.

ດັ່ງນັ້ນຄ່າຈາກໄຟລ໌ອື່ນທີ່ໂຫຼດແລ້ວອາດເຮັດໃຫ້ໂຮງງານເກົ່າຍັງເຮັດວຽກ. ກວດ Configuration ຕົວຈິງຂອງລູກຂ່າຍ ບໍ່ແມ່ນໄຟລ໌ XML ດຽວໃນເຊີບເວີ.

ອັນນີ້ໃຊ້ໃນບ່ອນທີ່ Hadoop ໃຊ້ໂຮງງານ TCP ນັ້ນ. ມັນຮັກສາພຶດຕິກຳທີ່ຢູ່ປາຍທາງ ແລະ DNS ຂອງອົງປະກອບ; ການເລືອກພຣັອກຊີບໍ່ແມ່ນຄຳສັ່ງໃຫ້ສ້າງຜົນ DNS ທົດແທນ.