Дајте му на разрешувачот на пакети на spark-shell неговиот прокси при стартување

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

При клиентско стартување на spark-shell овие JVM-опции на двигателот пристигнуваат пред резолуцијата на зависности. Заменете ја илустративната крајна точка и group:artifact:version со саканите вредности користејќи опции што ги поддржува инсталираната верзија на Spark. Името на домаќинот и портата на Java се одделни својства. За дозволени преземања на јавни зависности листата со HTTP прокси-сервери нуди кандидати за тие полиња.

Користете го ова место кога --packages не успева пред shell да стане достапен. Кодот на апликацијата внесен подоцна не може да го поправи претходното преземање. Spark ги разликува опциите за стартување од програмските поставки; во клиентски режим JVM на двигателот веќе постои кога кодот на апликацијата се извршува.

Режимот на распоредување е исто така важен за spark.driver.extraJavaOptions: двигателот може да работи на друг компјутер, на кој му треба сопствена патека до проксито. Подоцнежното API барање на executor е друг процес и друго мрежно место; конфигурирањето на executor не мора да ја конфигурира резолуцијата при стартување.

Кога има опции за стартување но преземањето не успева

Следете го името на домаќинот на складиштето, типот на барањето и првата грешка. Метаподатоците и артефактите може да доаѓаат од повеќе домаќини. URL на складиште компатибилен со Maven не докажува дека Spark ја чита settings.xml што ја користи успешна Maven-команда.

Преземачот на Java мора да го поддржува прокси-механизмот и потребната автентикација. Својствата домаќин/порта не обезбедуваат секоја шема, а измисленото својство http.proxyUsername не станува делотворно само затоа што Java го прифаќа името. Држете ја конфигурацијата пред стартување и конкретното неуспешно преземање заедно кога ја дијагностицирате оваа фаза.