Beri Resolver Paket spark-shell Proksinya saat Peluncuran

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Pada peluncuran spark-shell sisi klien, opsi JVM driver ini tiba sebelum resolusi dependensi. Ganti titik akhir ilustratif dan group:artifact:version dengan nilai yang dimaksudkan menggunakan opsi yang didukung versi Spark yang terpasang. Nama host dan port Java adalah properti terpisah. Untuk unduhan dependensi publik yang diizinkan, daftar proxy HTTP menawarkan kandidat untuk bidang tersebut.

Gunakan penempatan ini ketika --packages gagal sebelum shell tersedia. Kode aplikasi yang dimasukkan setelahnya tidak dapat memperbaiki unduhan sebelumnya. Spark membedakan opsi peluncuran dari pengaturan program; dalam mode klien JVM driver sudah ada saat kode aplikasi berjalan.

Mode penerapan juga penting untuk spark.driver.extraJavaOptions: driver dapat berjalan di mesin lain, yang memerlukan jalurnya sendiri ke proxy. Permintaan API executor yang lebih lambat adalah proses dan lokasi jaringan lain; mengonfigurasi executor tidak selalu mengonfigurasi resolusi saat mulai.

Ketika opsi peluncuran ada tetapi unduhan gagal

Ikuti nama host repositori, jenis permintaan, dan kesalahan pertama. Metadata dan artefak dapat berasal dari beberapa host. URL repositori yang kompatibel dengan Maven tidak membuktikan bahwa Spark membaca settings.xml yang dipakai perintah Maven yang berhasil.

Pengunduh Java harus mendukung mekanisme proxy dan autentikasi yang diperlukan. Properti host/port tidak menyediakan setiap skema, dan properti http.proxyUsername yang dibuat-buat tidak menjadi efektif hanya karena Java menerima namanya. Simpan konfigurasi pra-peluncuran dan unduhan gagal yang spesifik bersama-sama saat mendiagnosis tahap ini.