Дајте резолверу пакета spark-shell његов прокси при покретању

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

При клијентском покретању spark-shell ове JVM опције покретача долазе пре разрешавања зависности. Замените илустративну крајњу тачку и group:artifact:version жељеним вредностима користећи опције које подржава инсталирана верзија Sparka. Java име хоста и порт су одвојена својства. За дозвољена преузимања јавних зависности листе HTTP проксија нуди кандидате за та поља.

Користите ово место када --packages не успе пре него што shell постане доступан. Код апликације унет касније не може поправити раније преузимање. Spark разликује опције покретања од програмских подешавања; у клијентском режиму JVM покретача већ постоји када се код апликације извршава.

Начин распоређивања је такође важан за spark.driver.extraJavaOptions: покретач може радити на другом рачунару, коме треба сопствена путања до проксија. Каснији API захтев извршиоца је други процес и друго мрежно место; конфигурисање извршилаца не конфигурише нужно разрешавање при покретању.

Када су опције покретања присутне, али преузимање не успе

Пратите име хоста репозиторијума, тип захтева и прву грешку. Метаподаци и артефакти могу доћи са више хостова. URL репозиторијума компатибилан са Mavenom не доказује да Spark чита settings.xml који користи успешна Maven наредба.

Java преузимач мора подржавати прокси механизам и потребну аутентификацију. Својства хоста/порта не пружају сваку шему, а измишљено својство http.proxyUsername не постаје делотворно само зато што Java прихвата име. Држите конфигурацију пре покретања и конкретно неуспело преузимање заједно када дијагностикујете ову фазу.