Rhowch ei ddirprwy i ddatryswr pecynnau spark-shell wrth lansio

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Mewn lansiad spark-shell ar yr ochr cleient, daw'r opsiynau JVM hyn ar gyfer y gyrrwr cyn datrys dibyniaethau. Amnewidiwch y pwynt terfyn darluniadol a group:artifact:version â'r gwerthoedd a fwriedir gan ddefnyddio opsiynau a gefnogir gan y fersiwn Spark sydd wedi'i osod. Mae enw gwesteiwr a phorth Java yn briodweddau ar wahân. Ar gyfer lawrlwythiadau dibyniaeth cyhoeddus a ganiateir, mae rhestr dirprwyon HTTP yn cynnig ymgeiswyr ar gyfer y meysydd hynny.

Defnyddiwch y lleoliad hwn pan fydd --packages yn methu cyn i'r plisgyn fod ar gael. Ni all cod cymhwysiad a gofnodir wedyn atgyweirio'r lawrlwythiad cynharach. Mae Spark yn gwahaniaethu opsiynau lansio oddi wrth osodiadau rhaglennol; mewn modd cleient mae JVM y gyrrwr eisoes yn bodoli pan fydd cod cymhwysiad yn rhedeg.

Mae modd defnyddio hefyd yn bwysig ar gyfer spark.driver.extraJavaOptions: gall y gyrrwr redeg ar beiriant arall, sydd angen ei lwybr ei hun at y dirprwy. Mae cais API diweddarach gweithredydd yn broses a lleoliad rhwydwaith arall; nid yw ffurfweddu gweithredyddion o reidrwydd yn ffurfweddu datrysiad cychwyn.

Pan fydd opsiynau lansio'n bresennol ond y lawrlwythiad yn methu

Dilynwch enw gwesteiwr y storfa, y math o gais a'r camgymeriad cyntaf. Gall metadata ac arteffactau ddod o sawl gwesteiwr. Nid yw URL storfa sy'n gydnaws â Maven yn profi bod Spark yn darllen y settings.xml a ddefnyddir gan orchymyn Maven llwyddiannus.

Rhaid i lawrlwythydd Java gefnogi'r mecanwaith dirprwy a'r dilysu gofynnol. Nid yw priodweddau gwesteiwr/porth yn darparu pob cynllun, ac nid yw priodwedd http.proxyUsername a ddychmygwyd yn dod yn effeithiol dim ond oherwydd bod Java yn derbyn yr enw. Cadwch y ffurfweddiad cyn cychwyn a'r lawrlwythiad methiedig penodol gyda'i gilydd wrth ddiagnosio'r cam hwn.