Duok spark-shell paketų sprendėjui jo tarpinį serverį paleidžiant

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Kliento pusėje paleidus spark-shell, šios tvarkyklės JVM parinktys ateina prieš priklausomybių sprendimą. Pakeiskite iliustracinį galinį tašką ir group:artifact:version norimomis reikšmėmis naudodami parinktis, kurias palaiko įdiegta Spark versija. Java pagrindinio kompiuterio vardas ir prievadas yra atskiros ypatybės. Leidžiamiems viešų priklausomybių atsisiuntimams HTTP tarpinių serverių sąrašas siūlo kandidatus šiems laukams.

Naudokite šią vietą, kai --packages nepavyksta prieš tai, kai shell tampa prieinamas. Vėliau įvestas programos kodas negali pataisyti ankstesnio atsisiuntimo. Spark atskiria paleidimo parinktis nuo programinių nustatymų; kliento režimu tvarkyklės JVM jau egzistuoja, kai vykdomas programos kodas.

Diegimo režimas taip pat svarbus spark.driver.extraJavaOptions: tvarkyklė gali veikti kitame kompiuteryje, kuriam reikia savo kelio į tarpinį serverį. Vėlesnė vykdytojo API užklausa yra kitas procesas ir kita tinklo vieta; vykdytojų konfigūravimas nebūtinai konfigūruoja paleidimo sprendimą.

Kai paleidimo parinktys yra, bet atsisiuntimas nepavyksta

Sekite saugyklos pagrindinio kompiuterio vardą, užklausos tipą ir pirmąją klaidą. Metaduomenys ir artefaktai gali ateiti iš kelių pagrindinių kompiuterių. Maven suderinamas saugyklos URL neįrodo, kad Spark skaito settings.xml, kurį naudoja sėkminga Maven komanda.

Java atsisiuntėjas turi palaikyti tarpinio serverio mechanizmą ir reikiamą autentifikaciją. Pagrindinio kompiuterio / prievado ypatybės neužtikrina kiekvienos schemos, o išgalvota http.proxyUsername ypatybė netampa veiksminga vien todėl, kad Java priima pavadinimą. Diagnozuodami šį etapą laikykite kartu paleidimo konfigūraciją ir konkretų nepavykusį atsisiuntimą.