Dodiet spark-shell pakotņu risinātājam tā starpniekserveri palaišanas laikā

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Klienta puses spark-shell palaišanas laikā šīs draivera JVM opcijas pienāk pirms atkarību risinājuma. Aizstājiet ilustratīvo galapunktu un group:artifact:version ar vēlamajām vērtībām, izmantojot opcijas, ko atbalsta instalētā Spark versija. Java resursdatora nosaukums un ports ir atsevišķi rekvizīti. Atļautām publisko atkarību lejupielādēm HTTP starpniekserveru saraksts piedāvā kandidātus šiem laukiem.

Izmantojiet šo izvietojumu, kad --packages neizdodas pirms shell kļūst pieejams. Vēlāk ievadītais lietojumprogrammas kods nevar salabot iepriekšējo lejupielādi. Spark atšķir palaišanas opcijas no programmatiskiem iestatījumiem; klienta režīmā draivera JVM jau pastāv, kad lietojumprogrammas kods darbojas.

Arī izvietošanas režīms ir svarīgs spark.driver.extraJavaOptions: draivers var darboties citā mašīnā, kurai nepieciešams savs ceļš uz starpniekserveri. Vēlāks izpildītāja API pieprasījums ir cits process un cita tīkla vieta; izpildītāju konfigurēšana ne vienmēr konfigurē palaišanas risinājumu.

Kad palaišanas opcijas ir, bet lejupielāde neizdodas

Sekojiet repozitorija resursdatora nosaukumam, pieprasījuma veidam un pirmajai kļūdai. Metadati un artefakti var nākt no vairākiem resursdatoriem. Ar Maven saderīgs repozitorija URL nepierāda, ka Spark lasa settings.xml, ko izmanto veiksmīga Maven komanda.

Java lejupielādētājam jāatbalsta starpniekservera mehānisms un nepieciešamā autentifikācija. Resursdatora/porta rekvizīti nenodrošina katru shēmu, un izdomāts http.proxyUsername rekvizīts nekļūst efektīvs tikai tāpēc, ka Java pieņem nosaukumu. Diagnozējot šo posmu, turiet kopā pirms palaišanas esošo konfigurāciju un konkrēto neizdevušos lejupielādi.