spark-shell paket yechuvchisiga ishga tushishda uning proksisini bering

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Mijoz tomonida spark-shell ishga tushirilganda bu drayver JVM parametrlari bog'liqliklar yechilishidan oldin keladi. Namunaviy oxirgi nuqta va group:artifact:version ni o'rnatilgan Spark versiyasi qo'llab-quvvatlaydigan parametrlar bilan kerakli qiymatlarga almashtiring. Java xost nomi va porti alohida xossalardir. Ruxsat etilgan ommaviy bog'liqlik yuklab olishlari uchun HTTP proksilar ro'yxatidan bu maydonlarga nomzodlar topiladi.

Bu joylashuvni shell mavjud bo'lishidan oldin --packages muvaffaqiyatsiz bo'lganda ishlating. Keyin kiritilgan dastur kodi avvalgi yuklab olishni tuzata olmaydi. Spark ishga tushirish parametrlarini dasturiy sozlamalardan ajratadi; mijoz rejimida dastur kodi ishlayotganda drayver JVM allaqachon mavjud.

Joylashtirish rejimi ham spark.driver.extraJavaOptions uchun muhim: drayver proksiga o'z yo'li kerak bo'lgan boshqa mashinada ishlashi mumkin. executor ning keyingi API so'rovi boshqa jarayon va boshqa tarmoq joyi; executors sozlash ishga tushish yechilishini majburiy sozlamaydi.

Ishga tushirish parametrlari bor bo'lsa-da yuklab olish muvaffaqiyatsiz bo'lganda

Ombor xost nomi, so'rov turi va birinchi xatoni kuzatib boring. Metama'lumotlar va artefaktlar bir nechta xostdan kelishi mumkin. Maven bilan mos ombor URL Spark muvaffaqiyatli Maven buyrug'i ishlatadigan settings.xml ni o'qishini isbotlamaydi.

Java yuklab oluvchisi proksi mexanizmi va zarur autentifikatsiyani qo'llab-quvvatlashi kerak. Xost/port xossalari har bir sxemani taqdim etmaydi va o'ylab topilgan http.proxyUsername xossasi faqat Java nomni qabul qilgani uchun samarali bo'lmaydi. Bu bosqichni diagnostika qilishda ishga tushirishdan oldingi konfiguratsiya va aniq muvaffaqiyatsiz yuklab olishni birga saqlang.