Jou spark-shell syn pakketoplosser by it starten syn proxy

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

By in kliïntside-start fan spark-shell komme dizze JVM-opsjes fan it stjoerprogramma foar de ôfhinklikheidsoplossing. Ferfange it foarbyld-einpunt en group:artifact:version troch de bedoelde wearden mei opsjes dy't de ynstallearre Spark-ferzje stipet. Java-hostnamme en -poart binne aparte eigenskippen. Foar tastiene iepenbiere ôfhinklikheidsdownloads biedt de list mei HTTP-proxy’s kandidaten foar dy fjilden.

Brûk dizze pleats as --packages mislearret foardat de shell beskikber is. Letter ynfierde applikaasjekoade kin de eardere download net reparearje. Spark ûnderskiedt startopsjes fan programmatyske ynstellingen; yn kliïntmodus bestiet de JVM fan it stjoerprogramma al as applikaasjekoade rint.

Ek de ympleiningsmodus is wichtich foar spark.driver.extraJavaOptions: it stjoerprogramma kin op in oare masine rinne, dy't syn eigen paad nei de proxy nedich hat. In letter API-fersyk fan in executor is in oar proses en in oare netwurkplak; executors konfigurearje konfigurearret net perlu de oplossing by it starten.

As startopsjes oanwêzich binne mar de download mislearret

Folgje de hostnamme fan it depot, it fersoektype en de earste flater. Metadata en artefakten kinne fan ferskate hosts komme. In Maven-kompatibele depot-URL bewiist net dat Spark de settings.xml lêst dy't in suksesfol Maven-kommando brûkt.

De Java-downloader moat it proxy-meganisme en de fereaske autentikaasje stypje. Host/poart-eigenskippen leverje net elk skema, en in betocht http.proxyUsername-eigenskip wurdt net effektyf allinne om't Java de namme akseptearret. Hâld de konfiguraasje foar it starten en de spesifike mislearre download byinoar by it diagnostisearjen fan dizze stap.