Gee spark-shell se pakketresolver by bekendstelling sy instaanbediener

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Vir 'n kliëntkant-spark-shell-bekendstelling kom hierdie drywer-JVM-opsies voor die afhanklikheidsresolusie. Vervang die illustratiewe eindpunt en group:artifact:version met die beoogde waardes deur opsies te gebruik wat die geïnstalleerde Spark-weergawe ondersteun. Die Java-gasheernaam en -poort is afsonderlike eienskappe. Vir toegelate openbare afhanklikheidsaflaaie bied die HTTP-instaanbedienerlys kandidate vir daardie velde.

Gebruik hierdie plasing wanneer --packages misluk voordat die skulp beskikbaar word. Toepassingskode wat daarna ingevoer word, kan nie die vroeëre aflaai herstel nie. Spark onderskei bekendstellingsopsies van programmatiese instellings; in kliëntmodus bestaan die drywer-JVM reeds teen die tyd dat toepassingskode loop.

Die ontplooiingsmodus maak ook saak vir spark.driver.extraJavaOptions: die drywer kan op 'n ander masjien loop, wat sy eie pad na die instaanbediener nodig het. 'n Uitvoerder se latere API-versoek is 'n ander proses en netwerklokasie; die opstel van uitvoerders stel nie noodwendig die aanvangsresolusie op nie.

Wanneer bekendstellingsopsies daar is maar die aflaai misluk

Volg die pakhuis-gasheernaam, die versoektiepe en die eerste fout. Metadatums en artefakte kan van verskeie gashere kom. 'n Maven-versoenbare pakhuis-URL bewys nie dat Spark die settings.xml lees wat 'n suksesvolle Maven-bevel gebruik nie.

Die Java-aflaaier moet die instaanbediener-meganisme en die vereiste verifikasie ondersteun. Gasheer/poort-eienskappe voorsien nie elke skema nie, en 'n uitgedinkte http.proxyUsername-eienskap word nie effektief bloot omdat Java die naam aanvaar nie. Hou die konfigurasie voor bekendstelling en die spesifieke mislukte aflaai saam wanneer hierdie stadium gediagnoseer word.