spark-shell пакет шешушісіне іске қосу кезінде проксиін беріңіз

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Клиент жағында spark-shell іске қосылғанда бұл драйвер JVM опциялары тәуелділіктер шешіміне дейін келеді. Мысалдағы соңғы нүктені және group:artifact:version орнатылған Spark нұсқасы қолдайтын опциялармен қалаған мәндерге ауыстырыңыз. Java хост атауы мен порты жеке қасиеттер. Рұқсат етілген жалпыға ортақ тәуелділік жүктеулері үшін HTTP прокси тізімінен осы өрістерге үміткерлерді таба аласыз.

Бұл орналасуды shell қолжетімді болмай тұрып --packages сәтсіз аяқталғанда пайдаланыңыз. Кейін енгізілген қолданба коды бұрынғы жүктелуді қалпына келтіре алмайды. Spark іске қосу опцияларын бағдарламалық параметрлерден ажыратады; клиент режимінде қолданба коды орындалғанда драйвер JVM әлдеқашан бар.

Орналастыру режимі де spark.driver.extraJavaOptions үшін маңызды: драйвер проксиге өз жолы қажет басқа машинада жұмыс істеуі мүмкін. executor-дың кейінгі API сұранысы — басқа процесс пен басқа желілік орын; executor-ларды конфигурациялау іске қосу шешімін міндетті түрде конфигурацияламайды.

Іске қосу опциялары бар болса да жүктелу сәтсіз болса

Репозиторий хост атауын, сұраныс түрін және бірінші қатені бақылаңыз. Метадеректер мен артефактілер бірнеше хосттан келуі мүмкін. Maven-ға үйлесімді репозиторий URL-і Spark сәтті Maven командасы қолданатын settings.xml файлын оқитынын дәлелдемейді.

Java жүктеушісі прокси механизмін және қажетті аутентификацияны қолдауы керек. Хост/порт қасиеттері барлық схеманы бермейді, және ойдан шығарылған http.proxyUsername қасиеті Java атауды қабылдағаны үшін ғана тиімді бола қоймайды. Осы кезеңді диагностикалау кезінде іске қосу алдындағы конфигурация мен нақты сәтсіз жүктелуді бірге ұстаңыз.