Gi spark-shell sin pakkeoppløysar proxyen ved oppstart

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Ved ein klientstart av spark-shell kjem desse JVM-innstillingane for drivaren før avhengigheitsoppløysinga. Byt ut det illustrerande endepunktet og group:artifact:version med dei tiltenkte verdiane ved å bruke innstillingar som den installererte Spark-versjonen støttar. Java-vertsnamn og -port er separate eigenskapar. For tillatne offentlege avhengigheitsnedlastingar tilbyr lista over HTTP-proxyar kandidatar for desse felta.

Bruk denne plasseringa når --packages feilar før shellen blir tilgjengeleg. Applikasjonskode som blir skriven inn etterpå, kan ikkje reparere den tidlegare nedlastinga. Spark skil oppstartsval frå programmatiske innstillingar; i klientmodus finst JVM-en til drivaren allereie når applikasjonskoden køyrer.

Utplasseringsmodus har også noko å seie for spark.driver.extraJavaOptions: drivaren kan køyre på ein annan maskin, som treng sin eigen veg til proxyen. Ein seinare API-førespurnad frå ein executor er ein annan prosess og ein annan nettverksstad; å konfigurere executorar konfigurerer ikkje nødvendigvis oppstartsoppløysinga.

Når oppstartsvala er der, men nedlastinga feilar

Fylg vertsnamnet til lageret, førespurnadstypen og den første feilen. Metadata og artefaktar kan kome frå fleire vertar. Ein Maven-kompatibel lager-URL beviser ikkje at Spark les den settings.xml som ein vellukka Maven-kommando brukar.

Nedlastaren til Java må støtte proxy-mekanismen og den påkravde autentiseringa. Vert/port-eigenskapar gir ikkje alle skjema, og ein oppdikta http.proxyUsername-eigenskap blir ikkje effektiv berre fordi Java godtek namnet. Hald oppstartskonfigurasjonen og den konkrete mislukka nedlastinga saman når du diagnostiserer dette trinnet.