Dajte resolveru balíkov spark-shell jeho proxy pri spustení

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Pri klientskom spustení spark-shell prichádzajú tieto voľby JVM ovládača pred rozlíšením závislostí. Nahraďte ilustračný koncový bod a group:artifact:version zamýšľanými hodnotami pomocou volieb, ktoré podporuje nainštalovaná verzia Sparku. Názov hostiteľa a port Javy sú samostatné vlastnosti. Pre povolené sťahovania verejných závislostí ponúka zoznamu HTTP proxy kandidátov pre tieto polia.

Toto umiestnenie použite, keď --packages zlyhá skôr, než je shell dostupný. Kód aplikácie zadaný neskôr nemôže opraviť predchádzajúce stiahnutie. Spark rozlišuje voľby spustenia od programových nastavení; v klientskom režime JVM ovládača existuje už v čase, keď sa kód aplikácie spúšťa.

Režim nasadenia je dôležitý aj pre spark.driver.extraJavaOptions: ovládač môže bežať na inom stroji, ktorý potrebuje vlastnú cestu k proxy. Neskoršia API požiadavka exekútora je iný proces a iné sieťové miesto; konfigurácia exekútorov nemusí nevyhnutne nastaviť rozlíšenie pri spustení.

Keď sú voľby spustenia prítomné, ale sťahovanie zlyháva

Sledujte názov hostiteľa repozitára, typ požiadavky a prvú chybu. Metadáta a artefakty môžu pochádzať z viacerých hostiteľov. URL repozitára kompatibilná s Mavenom nedokazuje, že Spark číta settings.xml, ktorý používa úspešný príkaz Maven.

Sťahovač Javy musí podporovať proxy mechanizmus a požadované overenie. Vlastnosti hostiteľa/portu neposkytujú každú schému a vymyslená vlastnosť http.proxyUsername nezačne fungovať len preto, že Java názov prijme. Pri diagnostike tejto fázy držte spolu konfiguráciu pred spustením a konkrétne neúspešné stiahnutie.