Dajte rješavaču paketa spark-shell njegov proxy pri pokretanju

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Kod klijentskog pokretanja spark-shell ove JVM opcije pokretača dolaze prije razrješavanja ovisnosti. Zamijenite ilustrativnu krajnju točku i group:artifact:version željenim vrijednostima koristeći opcije koje podržava instalirana verzija Sparka. Java ime hosta i port odvojena su svojstva. Za dopuštena preuzimanja javnih ovisnosti popis HTTP proxyja nudi kandidate za ta polja.

Koristite ovo mjesto kada --packages ne uspije prije nego shell postane dostupan. Kod aplikacije unesen kasnije ne može popraviti ranije preuzimanje. Spark razlikuje opcije pokretanja od programskih postavki; u klijentskom načinu JVM pokretača već postoji kada se kod aplikacije izvršava.

Način postavljanja također je važan za spark.driver.extraJavaOptions: pokretač može raditi na drugom stroju, kojem treba vlastiti put do proxyja. Kasniji API zahtjev izvršitelja drugi je proces i drugo mrežno mjesto; konfiguriranje izvršitelja ne konfigurira nužno razrješavanje pri pokretanju.

Kada su opcije pokretanja prisutne, ali preuzimanje ne uspije

Pratite ime hosta repozitorija, vrstu zahtjeva i prvu pogrešku. Metapodaci i artefakti mogu doći s više hostova. URL repozitorija kompatibilan s Mavenom ne dokazuje da Spark čita settings.xml koji koristi uspješna Maven naredba.

Java preuzimatelj mora podržavati proxy mehanizam i potrebnu autentifikaciju. Svojstva hosta/porta ne pružaju svaku shemu, a izmišljeno svojstvo http.proxyUsername ne postaje djelotvorno samo zato što Java prihvaća ime. Držite konfiguraciju prije pokretanja i konkretno neuspjelo preuzimanje zajedno kada dijagnosticirate ovu fazu.