ໃຫ້ proxy ແກ່ຕົວແກ້ໄຂ package ຂອງ spark-shell ຕອນເລີ່ມເຮັດວຽກ
ສົ່ງຄຸນສົມບັດ proxy ຂອງ JVM ຂອງ driver ກ່ອນການແກ້ໄຂ --packages; shell code ແລະ ການຕັ້ງຄ່າ executor ພາຍຫຼັງອາດພາດການດາວໂຫຼດນັ້ນ.
spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:versionໃນການເລີ່ມ spark-shell ທາງຝ່າຍ client, ຕົວເລືອກ JVM ຂອງ driver ເຫຼົ່ານີ້ມາຮອດກ່ອນການແກ້ໄຂຄວາມເພິ່ງພາ. ປ່ຽນຈຸດສຸດທ້າຍຕົວຢ່າງ ແລະ group:artifact:version ດ້ວຍຄ່າທີ່ຕ້ອງການ ໂດຍໃຊ້ຕົວເລືອກທີ່ Spark ສະບັບທີ່ຕິດຕັ້ງຮອງຮັບ. ຊື່ host ແລະ port ຂອງ Java ເປັນຄຸນສົມບັດແຍກກັນ. ສຳລັບການດາວໂຫຼດຄວາມເພິ່ງພາສາທາລະນະທີ່ອະນຸຍາດ ລາຍການພຣັອກຊີ HTTP ສະເໜີຜູ້ສະໝັກສຳລັບຊ່ອງເຫຼົ່ານັ້ນ.
ໃຊ້ຕຳແໜ່ງນີ້ເມື່ອ --packages ລົ້ມເຫຼວກ່ອນ shell ຈະໃຊ້ໄດ້. ລະຫັດແອັບພລິເຄຊັນທີ່ປ້ອນພາຍຫຼັງບໍ່ສາມາດແກ້ໄຂການດາວໂຫຼດກ່ອນໜ້າໄດ້. Spark ແຍກຕົວເລືອກການເລີ່ມອອກຈາກການຕັ້ງຄ່າແບບໂປຣແກຣມ; ໃນໂໝດ client JVM ຂອງ driver ມີຢູ່ແລ້ວເມື່ອລະຫັດແອັບພລິເຄຊັນເຮັດວຽກ.
ໂໝດການຕິດຕັ້ງກໍສຳຄັນສຳລັບ spark.driver.extraJavaOptions: driver ອາດເຮັດວຽກໃນເຄື່ອງອື່ນ ທີ່ຕ້ອງການເສັ້ນທາງຂອງຕົນໄປຫາ proxy. ຄຳຂໍ API ພາຍຫຼັງຂອງ executor ເປັນຂະບວນການ ແລະ ຕຳແໜ່ງເຄືອຂ່າຍອື່ນ; ການຕັ້ງຄ່າ executors ບໍ່ຈຳເປັນຕັ້ງຄ່າການແກ້ໄຂຕອນເລີ່ມ.
ເມື່ອມີຕົວເລືອກການເລີ່ມແຕ່ການດາວໂຫຼດລົ້ມເຫຼວ
ຕິດຕາມຊື່ host ຂອງ repository, ປະເພດຄຳຂໍ ແລະ ຂໍ້ຜິດພາດທຳອິດ. Metadata ແລະ artifact ອາດມາຈາກຫຼາຍ host. URL repository ທີ່ເຂົ້າກັບ Maven ບໍ່ໄດ້ພິສູດວ່າ Spark ອ່ານ settings.xml ທີ່ຄຳສັ່ງ Maven ທີ່ສຳເລັດໃຊ້.
ຕົວດາວໂຫຼດ Java ຕ້ອງຮອງຮັບກົນໄກ proxy ແລະ ການພິສູດຕົວຕົນທີ່ຈຳເປັນ. ຄຸນສົມບັດ host/port ບໍ່ໃຫ້ທຸກ scheme, ແລະ ຄຸນສົມບັດ http.proxyUsername ທີ່ແຕ່ງຂຶ້ນບໍ່ມີຜົນພຽງເພາະ Java ຍອມຮັບຊື່. ເກັບການຕັ້ງຄ່າກ່ອນເລີ່ມ ແລະ ການດາວໂຫຼດທີ່ລົ້ມເຫຼວສະເພາະໄວ້ນຳກັນ ເມື່ອວິນິດໄສຂັ້ນນີ້.