Agħti lir-resolver tal-pakketti ta’ spark-shell il-proxy tiegħu mal-bidu

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Fi tnedija ta’ spark-shell fuq il-ġenb tal-klijent, dawn l-għażliet tal-JVM tas-sewwieq jasal qabel ir-riżoluzzjoni tad-dipendenzi. Ibdel il-punt tat-tmiem illustrattiv u group:artifact:version bil-valuri maħsuba billi tuża għażliet li tgħoddhom il-verżjoni ta’ Spark installata. L-isem tal-host u l-port ta’ Java huma proprjetajiet separati. Għat-tniżżil pubbliku tad-dipendenzi permess, il-lista ta’ proxies HTTP toffri kandidati għal dawk l-oqsma.

Uża din il-pożizzjoni meta --packages ifalli qabel is-shell isir disponibbli. Il-kodiċi tal-applikazzjoni mdaħħal wara ma jistax isewwi t-tniżżil preċedenti. Spark jiddistingwi l-għażliet tat-tnedija mill-konfigurazzjonijiet programmatiċi; fil-modalità klijent il-JVM tas-sewwieq diġà teżisti meta l-kodiċi tal-applikazzjoni jkun qed jaħdem.

Il-modalità tal-varar hija importanti wkoll għal spark.driver.extraJavaOptions: is-sewwieq jista’ jaħdem fuq magna oħra, li teħtieġ it-triq tagħha lejn il-proxy. It-talba API aktar tard ta’ executor hija proċess u post tan-netwerk ieħor; il-konfigurazzjoni tal-executors mhux bilfors tikkonfigura r-riżoluzzjoni tal-bidu.

Meta l-għażliet tat-tnedija jkunu preżenti iżda t-tniżżil ifalli

Segwi l-isem tal-host tar-repożitorju, it-tip ta’ talba u l-ewwel żball. Il-metadata u l-artifatti jistgħu jiġu minn diversi hosts. URL tar-repożitorju kompatibbli ma’ Maven ma jurix li Spark jaqra l-settings.xml li tuża kmand Maven li jirnexxi.

Il-ġarrieta tal-Java trid tappoġġja l-mekkaniżmu tal-proxy u l-awtentikazzjoni meħtieġa. Il-proprjetajiet tal-host/port ma jipprovdux kull skema, u proprjetà http.proxyUsername ivvintata ma ssirx effettiva biss għax Java taċċetta l-isem. Żomm flimkien il-konfigurazzjoni qabel it-tnedija u t-tniżżil fallut speċifiku meta tiddijanjostika dan l-istadju.