spark-shell'in paket çözümleyicisine başlatmada proxy'sini verin

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

İstemci tarafında spark-shell başlatıldığında bu sürücü JVM seçenekleri bağımlılık çözümlemesinden önce gelir. Örnek uç noktayı ve group:artifact:version değerini, kurulu Spark sürümünün desteklediği seçenekleri kullanarak amaçlanan değerlerle değiştirin. Java ana bilgisayar adı ve bağlantı noktası ayrı özelliklerdir. İzin verilen genel bağımlılık indirmeleri için HTTP proxy listesinden bu alanlar için adaylar bulunabilir.

Bu yerleşimi, shell kullanılabilir olmadan önce --packages başarısız olduğunda kullanın. Sonradan girilen uygulama kodu önceki indirmeyi onaramaz. Spark başlatma seçeneklerini programatik ayarlardan ayırır; istemci modunda uygulama kodu çalıştığında sürücü JVM zaten vardır.

Dağıtım modu spark.driver.extraJavaOptions için de önemlidir: sürücü başka bir makinede çalışabilir ve o makinenin proxy'ye kendi yolu gerekir. Bir executor'ın sonraki API isteği başka bir süreç ve başka bir ağ konumudur; executor'ları yapılandırmak başlatma çözümlemesini mutlaka yapılandırmaz.

Başlatma seçenekleri varken indirme başarısız olduğunda

Depo ana bilgisayar adını, istek türünü ve ilk hatayı izleyin. Üst veriler ve yapıtlar birkaç ana bilgisayardan gelebilir. Maven ile uyumlu bir depo URL'si, Spark'ın başarılı bir Maven komutunun kullandığı settings.xml dosyasını okuduğunu kanıtlamaz.

Java indiricisi proxy mekanizmasını ve gereken kimlik doğrulamayı desteklemelidir. Ana bilgisayar/bağlantı noktası özellikleri her şemayı sağlamaz ve uydurulmuş bir http.proxyUsername özelliği yalnızca Java adı kabul ettiği için etkili hâle gelmez. Bu aşamayı incelerken başlatma öncesi yapılandırmayı ve belirli başarısız indirmeyi bir arada tutun.