Dajte rješavaču paketa spark-shell njegov proxy pri pokretanju

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Kod klijentskog pokretanja spark-shell ove JVM opcije drajvera dolaze prije razrješavanja zavisnosti. Zamijenite ilustrativnu krajnju tačku i group:artifact:version namjeravanim vrijednostima koristeći opcije koje podržava instalirana verzija Sparka. Java ime hosta i port su odvojena svojstva. Za dopuštena preuzimanja javnih zavisnosti lista HTTP proxyja nudi kandidate za ta polja.

Koristite ovo mjesto kada --packages ne uspije prije nego shell postane dostupan. Kod aplikacije unesen kasnije ne može popraviti ranije preuzimanje. Spark razlikuje opcije pokretanja od programskih postavki; u klijentskom režimu JVM drajvera već postoji kada se kod aplikacije izvršava.

Način postavljanja je također važan za spark.driver.extraJavaOptions: drajver može raditi na drugom računaru, kojem treba vlastiti put do proxyja. Kasniji API zahtjev izvršioca je drugi proces i druga mrežna lokacija; konfigurisanje izvršilaca ne konfiguriše nužno razrješavanje pri pokretanju.

Kada su opcije pokretanja prisutne, ali preuzimanje ne uspije

Pratite ime hosta repozitorija, vrstu zahtjeva i prvu grešku. Metapodaci i artefakti mogu doći s više hostova. URL repozitorija kompatibilan s Mavenom ne dokazuje da Spark čita settings.xml koji koristi uspješna Maven naredba.

Java preuzimač mora podržavati proxy mehanizam i potrebnu autentifikaciju. Svojstva hosta/porta ne pružaju svaku shemu, a izmišljeno svojstvo http.proxyUsername ne postaje djelotvorno samo zato što Java prihvata ime. Držite konfiguraciju prije pokretanja i konkretno neuspjelo preuzimanje zajedno kada dijagnostikujete ovu fazu.