Geva pakkarupploysaranum hjá spark-shell sín proxy við byrjan

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Við klient-byrjan av spark-shell koma hesar JVM-valmøguleikar hjá driverinum áðrenn upploysing av treytum. Skift út tí dæmisgivnu endapunktingina og group:artifact:version við tær ætlaðu virðini við at brúka valmøguleikar, sum tann installeraða Spark-útgávan veitir stuðul fyri. Java vertsnavn og port eru sundurbyktir eginleikar. Fyri loyvdar almenningar niðurhalingar av treytum bjóðar listanum við HTTP-proxyum frambjóðarar til hesi økini.

Brúka hesa plasering, tá ið --packages miseydnast, áðrenn shells er tøkt. Kóti, sum verður skrivaður seinni, kann ikki bøta ta fyrr niðurhalingina. Spark skilur byrjunar-valmøguleikar frá programmatiskum stillingum; í klient-ham er JVM hjá driverinum longu til, tá ið kotið koyrir.

Útleggingarhamurin er eisini av týdningi fyri spark.driver.extraJavaOptions: driverurin kann koyra á eini aðrari maskinu, sum þarfbørt sín egna veg til proxyið. Seinni API-fyrispurningur hjá einum executor er annar prosessur og annar netstaður; at seta executorar setur ikki neyðturliga byrjunar-upploysingina.

Tá ið byrjunar-valmøguleikar eru til, men niðurhalingin miseydnast

Fylg vertsnavninum á goymsluni, fyrispurningstýpinum og fyrstu villuni. Metadáta og artefaktir kunnu koma frá fleiri vertum. Ein Maven-samsvarandi goymslu-URL prógvar ikki, at Spark les settings.xml, sum ein dámlig Maven-kommando brúkar.

Niðurhalarin hjá Java má styðja proxy-mekanismuna og ta kravdu samsýningina. Verts/port-eindir veita ikki øll skemai, og ein uppfunni http.proxyUsername-eindin verður ikki virkin bert, tí Java góðtekur navnið. Halt byrjanar-stillingina og ta ávísu miseydnaðu niðurhalingina saman, tá ið tú greinar hetta stigið.