spark-shell пакет чечүүчүсүнө иштетүү учурунда проксисин бериңиз

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Кардар тарапта spark-shell иштетилгенде бул драйвер JVM параметрлери көз карандылыктар чечилишине чейин жетет. Мисалдагы акыркы чекитти жана group:artifact:version орнотулган Spark версиясы колдогон параметрлер менен керектүү маанилерге алмаштырыңыз. Java хост аты жана порту өзүнчө касиеттер. Уруксат берилген коомдук көз карандылык жүктөөлөрү үчүн HTTP прокси тизмесинен бул талааларга талапкерлерди таба аласыз.

Бул жайгаштырууну shell жеткиликтүү боло электе --packages ийгиликсиз болгондо колдонуңуз. Кийин киргизилген колдонмо коду мурунку жүктөөнү оңдой албайт. Spark иштетүү параметрлерин программалык жөндөөлөрдөн ажыратат; кардар режиминде колдонмо коду иштегенде драйвер JVM мурун эле бар.

Жайгаштыруу режими да spark.driver.extraJavaOptions үчүн маанилүү: драйвер проксиге өз жолу керек болгон башка машинада иштеши мүмкүн. executor'дун кийинки API суроосу башка процесс жана башка тармактык жай; executor'лорду конфигурациялоо иштетүү чечилишин сөзсүз конфигурациялабайт.

Иштетүү параметрлери бар болсо да жүктөө ийгиликсиз болгондо

Репозиторий хост атын, суроо түрүн жана биринчи катаны көзөмөлдөңүз. Метаберилиштер жана артефактылар бир нече хосттон келиши мүмкүн. Maven менен шайкеш репозиторий URL'и Spark ийгиликтүү Maven буйругу колдонгон settings.xml файлын окуганын далилдебейт.

Java жүктөөчүсү прокси механизмин жана талап кылынган аутентификацияны колдошу керек. Хост/порт касиеттери ар бир схеманы бербейт, жана ойлоп табылган http.proxyUsername касиети Java атты кабыл алганы үчүн гана эффективдүү болбойт. Бул этапты диагностикалоодо иштетүү алдындагы конфигурацияны жана конкреттүү ийгиликсиз жүктөөнү бирге кармаңыз.