spark-shell paket həlledicisinə işə salınmada öz proksisini verin

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Müştəri tərəfində spark-shell işə salındıqda bu sürücü JVM seçimləri asılılıq həllindən əvvəl gəlir. Nümunəvi son nöqtəni və group:artifact:version-i quraşdırılmış Spark versiyasının dəstəklədiyi seçimlərlə nəzərdə tutulan dəyərlərlə əvəz edin. Java host adı və port ayrı xassələrdir. İcazə verilmiş ictimai asılılıq yükləmələri üçün HTTP proksi siyahısı həmin sahələr üçün namizədlər təklif edir.

Bu yerləşdirməni shell əlçatan olmadan --packages uğursuz olduqda istifadə edin. Sonradan daxil edilən tətbiq kodu əvvəlki yükləməni düzəldə bilməz. Spark işə salma seçimlərini proqram parametrlərindən fərqləndirir; müştəri rejimində tətbiq kodu işləyəndə sürücü JVM artıq mövcuddur.

spark.driver.extraJavaOptions üçün yerləşdirmə rejimi də vacibdir: sürücü başqa maşında işləyə bilər və onun proksiyə öz yolu lazımdır. İcraçının sonrakı API sorğusu başqa proses və şəbəkə yeridir; icraçıları konfiqurasiya etmək başlanğıc həllini mütləq konfiqurasiya etmir.

İşə salma seçimləri varsa, amma yükləmə uğursuz olur

Repozitoriya host adını, sorğu növünü və ilk xətanı izləyin. Metaməlumat və artefaktlar bir neçə hostdan gələ bilər. Maven ilə uyğun repozitoriya URL-i Spark-ın uğurlu Maven əmrinin istifadə etdiyi settings.xml-i oxuduğunu təsdiqləmir.

Java yükləyicisi proksi mexanizmini və tələb olunan autentifikasiyanı dəstəkləməlidir. Host/port xassələri hər sxemi təmin etmir və uydurulmuş http.proxyUsername xassəsi yalnız Java adı qəbul etdiyi üçün qüvvəyə minmir. Bu mərhələni diaqnoz edərkən başlamadan əvvəlki konfiqurasiyanı və konkret uğursuz yükləməni birlikdə saxlayın.