Gefðu pakkalausnaranum í spark-shell milliþjón sinn við ræsingu

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Við ræsingu spark-shell á biðlarahlið koma þessir JVM-valkostir rekilsins áður en háðir eru leystir. Skiptu út skýringardæminu fyrir endapunkt og group:artifact:version fyrir tilætluð gildi með valkostum sem uppsetta Spark-útgáfan styður. Vefslóðarheiti og port Java eru aðskildir eiginleikar. Fyrir leyfð niðurhal opinberra háða býður listanum yfir HTTP-milliþjóna upp á frambjóðendur fyrir þessi svæði.

Notaðu þessa staðsetningu þegar --packages mistekst áður en skelin verður aðgengileg. Forritakóði sem er sleginn inn eftir getur ekki lagað fyrra niðurhalið. Spark greinir ræsingarvalkosti frá forritunarstillingum; í biðlaraham er JVM rekilsins þegar til þegar forritakóðinn keyrir.

Uppsetningarhamur skiptir líka máli fyrir spark.driver.extraJavaOptions: rekillinn getur keyrt á annarri vél sem þarf sína eigin leið að milliþjóninum. Síðari API-beiðni framkvæmdaaðila er annar ferill og annar staður á netinu; að stilla framkvæmdaaðila stillir ekki endilega ræsingarlausnina.

Þegar ræsingarvalkostir eru til staðar en niðurhalið mistekst

Fylgdu vefslóarheiti geymslunnar, beiðnagerð og fyrstu villu. Lýsigögn og aukahlutir geta komið frá nokkrum vefþjónum. Vefslóð geymslu sem er samhæf við Maven sannar ekki að Spark lesi settings.xml sem árangursrík Maven-skipun notar.

Niðurhalsforrit Java verður að styðja milliþjónaaðferðina og nauðsynlega auðkenningu. Vefþjóns/ports-eiginleikar veita ekki hvert kerfi, og uppdiktaður http.proxyUsername eiginleiki verður ekki virkur bara vegna þess að Java samþykkir nafnið. Haltu ræsingarstillingunni og því tiltekna misheppnaða niðurhali saman þegar þú greinir þetta stig.