Dajte resolverju paketov spark-shell njegov proxy ob zagonu

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Pri odjemalskem zagonu spark-shell te možnosti JVM gonilnika prispejo pred razrešitvijo odvisnosti. Zamenjajte ponazoritveno končno točko in group:artifact:version z želenimi vrednostmi z možnostmi, ki jih podpira nameščena različica Sparka. Ime gostitelja in vrata Java sta ločeni lastnosti. Za dovoljene prenose javnih odvisnosti seznam proxyjev HTTP ponuja kandidate za ta polja.

To umestitev uporabite, ko --packages spodleti, preden lupina postane na voljo. Koda aplikacije, vnesena pozneje, ne more popraviti prejšnjega prenašanja. Spark razlikuje možnosti zagona od programskih nastavitev; v odjemalskem načinu JVM gonilnika že obstaja, ko se koda aplikacije izvaja.

Tudi način uvajanja je pomemben za spark.driver.extraJavaOptions: gonilnik lahko teče na drugem stroju, ki potrebuje svojo pot do proxyja. Poznejša zahteva API izvajalca je drug proces in drugo omrežno mesto; konfiguriranje izvajalcev ne konfigurira nujno razrešitve ob zagonu.

Ko so možnosti zagona prisotne, a prenašanje spodleti

Sledite imenu gostitelja shrambe, vrsti zahteve in prvi napaki. Metapodatki in artefakti lahko pridejo z več gostiteljev. URL shrambe, združljiv z Mavenom, ne dokazuje, da Spark bere settings.xml, ki ga uporablja uspešen ukaz Maven.

Prenosnik Java mora podpirati mehanizem proxy in zahtevano preverjanje pristnosti. Lastnosti gostitelja/portov ne zagotavljajo vsake sheme, izmišljena lastnost http.proxyUsername pa ne postane učinkovita samo zato, ker Java ime sprejme. Pri diagnosticiranju te faze držite skupaj konfiguracijo pred zagonom in konkretni neuspešni prenos.