Adja meg a spark-shell csomagfeloldójának a proxyját indításkor

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Ügyféloldali spark-shell indításakor ezek a vezérlő JVM-beállításai a függőségek feloldása előtt érkeznek. Cserélje ki a szemléltető végpontot és a group:artifact:version értéket a kívánt értékekre a telepített Spark-verzió által támogatott beállításokkal. A Java gépnév és a port külön tulajdonság. Az engedélyezett nyilvános függőségletöltésekhez a HTTP-proxyk listájából választhat jelölteket ezekhez a mezőkhöz.

Akkor használja ezt az elhelyezést, amikor a --packages meghiúsul, mielőtt a shell elérhetővé válna. A később bevitt alkalmazáskód nem tudja megjavítani a korábbi letöltést. A Spark megkülönbözteti az indítási beállításokat a programozott beállításoktól; ügyfél módban a vezérlő JVM már létezik, mire az alkalmazáskód fut.

A telepítési mód is számít a spark.driver.extraJavaOptions esetében: a vezérlő futhat másik gépen, amelynek saját útra van szüksége a proxyhoz. A végrehajtó későbbi API-kérése más folyamat és más hálózati hely; a végrehajtók beállítása nem feltétlenül állítja be az indítási feloldást.

Amikor vannak indítási beállítások, de a letöltés meghiúsul

Kövesse a tároló gépnevét, a kérés típusát és az első hibát. A metaadatok és az artefaktok több hoszttól érkezhetnek. A Maven-kompatibilis tároló URL nem bizonyítja, hogy a Spark azt a settings.xml fájlt olvassa, amelyet egy sikeres Maven-parancs használ.

A Java letöltőnek támogatnia kell a proxy mechanizmust és a szükséges hitelesítést. A gépnév/port tulajdonságok nem fednek le minden sémát, és egy kitalált http.proxyUsername tulajdonság nem lesz hatékony csak azért, mert a Java elfogadja a nevet. A szakasz diagnosztizálásakor tartsa együtt az indítás előtti konfigurációt és a konkrét sikertelen letöltést.