Bigyan ang resolver ng package ng spark-shell ng proxy nito sa paglulunsad

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Sa isang paglulunsad ng spark-shell sa panig ng kliyente, dumarating ang mga opsyong ito ng JVM ng driver bago ang resolusyon ng dependency. Palitan ang halimbawang endpoint at group:artifact:version ng mga nais na halaga gamit ang mga opsyong sinusuportahan ng naka-install na bersyon ng Spark. Magkaibang property ang hostname at port ng Java. Para sa pinapayagang pampublikong pag-download ng dependency, ang listahan ng mga HTTP proxy ay nag-aalok ng mga kandidato para sa mga field na iyon.

Gamitin ang lokasyong ito kapag nabigo ang --packages bago maging available ang shell. Hindi kayang ayusin ng application code na inilagay pagkatapos ang naunang pag-download. Tinatangi ng Spark ang mga opsyong panglunsad mula sa mga programmatic na setting; sa client mode, umiiral na ang JVM ng driver kapag tumatakbo ang application code.

Mahalaga rin ang deployment mode para sa spark.driver.extraJavaOptions: maaaring tumakbo ang driver sa ibang makina, na nangangailangan ng sarili nitong landas patungo sa proxy. Ang huling kahilingang API ng isang executor ay ibang proseso at ibang lokasyon sa network; ang pag-configure ng executors ay hindi laging nagko-configure ng resolusyon sa pagsisimula.

Kapag may mga opsyong panglunsad ngunit nabigo ang pag-download

Sundan ang hostname ng repository, uri ng kahilingan at unang error. Maaaring manggaling ang metadata at artifact sa maraming host. Hindi pinatutunayan ng URL ng repository na tugma sa Maven na binabasa ng Spark ang settings.xml na ginagamit ng matagumpay na utos ng Maven.

Dapat suportahan ng downloader ng Java ang mekanismo ng proxy at ang kinakailangang authentication. Hindi ibinibigay ng mga property ng host/port ang bawat scheme, at ang gawa-gawang property na http.proxyUsername ay hindi nagiging epektibo dahil lamang tinatanggap ng Java ang pangalan. Panatilihing magkasama ang configuration bago maglunsad at ang partikular na bigong pag-download kapag sinusuri ang yugtong ito.