Berikan proksi kepada penyelesai pakej spark-shell semasa pelancaran

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Pada pelancaran spark-shell di sisi klien, pilihan JVM pemacu ini tiba sebelum penyelesaian kebergantungan. Gantikan titik akhir ilustratif dan group:artifact:version dengan nilai yang dimaksudkan menggunakan pilihan yang disokong oleh versi Spark yang dipasang. Nama hos dan port Java ialah sifat berasingan. Untuk muat turun kebergantungan awam yang dibenarkan, senarai proksi HTTP menawarkan calon untuk medan tersebut.

Gunakan kedudukan ini apabila --packages gagal sebelum shell tersedia. Kod aplikasi yang dimasukkan kemudian tidak boleh membaiki muat turun terdahulu. Spark membezakan pilihan pelancaran daripada tetapan program; dalam mod klien JVM pemacu sudah wujud apabila kod aplikasi berjalan.

Mod penggunaan juga penting untuk spark.driver.extraJavaOptions: pemacu boleh berjalan pada mesin lain, yang memerlukan laluannya sendiri ke proksi. Permintaan API executor yang kemudian ialah proses dan lokasi rangkaian lain; mengkonfigurasi executor tidak semestinya mengkonfigurasi penyelesaian semasa mula.

Apabila pilihan pelancaran ada tetapi muat turun gagal

Ikuti nama hos repositori, jenis permintaan dan ralat pertama. Metadata dan artifak boleh datang daripada beberapa hos. URL repositori yang serasi dengan Maven tidak membuktikan bahawa Spark membaca settings.xml yang digunakan oleh arahan Maven yang berjaya.

Pemuat turun Java mesti menyokong mekanisme proksi dan pengesahan yang diperlukan. Sifat hos/port tidak menyediakan setiap skema, dan sifat http.proxyUsername yang direka tidak menjadi berkesan hanya kerana Java menerima nama itu. Simpan konfigurasi sebelum pelancaran dan muat turun gagal yang khusus bersama-sama semasa mendiagnosis peringkat ini.