ให้ proxy แก่ตัวแก้ไขแพ็กเกจของ spark-shell ตอนเริ่มทำงาน

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

ในการเริ่ม spark-shell ฝั่งไคลเอนต์ ตัวเลือก JVM ของไดรเวอร์เหล่านี้มาถึงก่อนการแก้ไข dependency แทนที่ปลายทางตัวอย่างและ group:artifact:version ด้วยค่าที่ต้องการโดยใช้ตัวเลือกที่ Spark รุ่นที่ติดตั้งรองรับ ชื่อโฮสต์และพอร์ตของ Java เป็นคุณสมบัติแยกกัน สำหรับการดาวน์โหลด dependency สาธารณะที่ได้รับอนุญาต รายการพร็อกซี HTTP เสนอผู้สมัครสำหรับฟิลด์เหล่านั้น

ใช้ตำแหน่งนี้เมื่อ --packages ล้มเหลวก่อนที่ shell จะพร้อมใช้งาน โค้ดแอปพลิเคชันที่ป้อนภายหลังไม่สามารถซ่อมการดาวน์โหลดก่อนหน้าได้ Spark แยกตัวเลือกการเริ่มทำงานออกจากการตั้งค่าเชิงโปรแกรม ในโหมดไคลเอนต์ JVM ของไดรเวอร์มีอยู่แล้วเมื่อโค้ดแอปพลิเคชันทำงาน

โหมดการติดตั้งใช้งานก็สำคัญสำหรับ spark.driver.extraJavaOptions: ไดรเวอร์อาจทำงานบนเครื่องอื่น ซึ่งต้องมีเส้นทางของตัวเองไปยังพร็อกซี คำขอ API ภายหลังของ executor เป็นอีกโพรเซสและอีกตำแหน่งเครือข่าย การกำหนดค่า executors ไม่ได้กำหนดค่าการแก้ไขตอนเริ่มเสมอไป

เมื่อมีตัวเลือกการเริ่มทำงานแต่การดาวน์โหลดล้มเหลว

ติดตามชื่อโฮสต์ของรีโพซิทอรี ชนิดคำขอ และข้อผิดพลาดแรก เมทาดาทาและอาร์ทิแฟกต์อาจมาจากหลายโฮสต์ URL รีโพซิทอรีที่เข้ากันได้กับ Maven ไม่ได้พิสูจน์ว่า Spark อ่าน settings.xml ที่คำสั่ง Maven ที่สำเร็จใช้

ตัวดาวน์โหลด Java ต้องรองรับกลไกพร็อกซีและการพิสูจน์ตัวตนที่จำเป็น คุณสมบัติโฮสต์/พอร์ตไม่ได้ให้ทุกสคีมา และคุณสมบัติ http.proxyUsername ที่กุขึ้นมาไม่เกิดผลเพียงเพราะ Java ยอมรับชื่อนั้น เก็บการกำหนดค่าก่อนเริ่มและดาวน์โหลดที่ล้มเหลวโดยเฉพาะไว้ด้วยกันเมื่อวินิจฉัยขั้นนี้