Дайце распазнавальніку пакетаў spark-shell ягоны проксі пры запуску

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Пры кліенцкім запуску spark-shell гэтыя параметры JVM драйвера паступаюць да разбору залежнасцей. Замяніце ілюстрацыйную канчатковую кропку і group:artifact:version на патрэбныя значэнні, выкарыстоўваючы параметры, якія падтрымлівае ўсталяваная версія Spark. Імя хаста Java і порт — асобныя ўласцівасці. Для дазволеных спампоўванняў публічных залежнасцей спіс HTTP-проксі прапануе кандыдатаў для гэтых палёў.

Выкарыстоўвайце гэтае размяшчэнне, калі --packages не спраўляецца да таго, як абалонка стане даступнай. Код праграмы, уведзены пасля, не можа выправіць папярэдняе спампоўванне. Spark адрознівае параметры запуску ад праграмных налад; у кліенцкім рэжыме JVM драйвера ўжо існуе да моманту выканання кода праграмы.

Рэжым разгортвання таксама важны для spark.driver.extraJavaOptions: драйвер можа працаваць на іншай машыне, якой патрэбны свой шлях да проксі. Пазнейшы API-запыт выканаўцы — гэта іншы працэс і іншае месца ў сетцы; налада выканаўцаў не абавязкова наладжвае разбор пры запуску.

Калі параметры запуску ёсць, але спампоўванне не ўдаецца

Сачыце за імем хаста рэпазіторыя, тыпам запыту і першай памылкай. Метаданыя і артэфакты могуць прыходзіць з некалькіх хастоў. URL рэпазіторыя, сумяшчальны з Maven, не даказвае, што Spark чытае settings.xml, які выкарыстоўвае паспяховая каманда Maven.

Спампоўшчык Java павінен падтрымліваць механізм проксі і неабходную аўтэнтыфікацыю. Уласцівасці хаста/порта не забяспечваюць кожную схему, а выдуманая ўласцівасць http.proxyUsername не становіцца дзейснай толькі таму, што Java прымае гэтае імя. Трымайце перадстартавую канфігурацыю і канкрэтнае няўдалае спампоўванне разам пры дыягностыцы гэтага этапу.