Thoir proxy an resolver pacaidean spark-shell nuair a thèid a chur air bhog

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Nuair a thèid spark-shell a chur air bhog bhon taobh cliant, thig na roghainnean JVM seo an dràibhear mus tèid eisimeileachd a rèiteachadh. Cuir am puing-chrìoich eisimpleireach agus group:artifact:version an àite nan luachan a tha thu ag iarraidh le roghainnean a tha an dreach Spark a chaidh a stàladh a' toirt taic dhaibh. Tha ainm òstair agus port Java nan feartan air leth. Airson luchdaidhean eisimeileachd poblach a tha ceadaichte, tha liosta de phrogsaidhean HTTP a' tabhann thagraichean airson nan raointean sin.

Cleachd an suidheachadh seo nuair a dh'fhàillicheas --packages mus bi an t-slige ri fhaighinn. Chan urrainn do chòd na h-aplacaid a thèid a chur a-steach às dèidh sin an luchdadh a bh' ann roimhe a chàradh. Bidh Spark a' dèanamh eadar-dhealachadh eadar roghainnean cur-a-bhog agus roghainnean prògramach; ann am modh cliant tha JVM an dràibhear ann mar-thà nuair a bhios còd na h-aplacaid a' ruith.

Tha am modh cleachdadh cuideachd cudromach airson spark.driver.extraJavaOptions: faodaidh an dràibhear ruith air inneal eile, a dh'fheumas a shlighe fhèin chun a' phroxy. Tha iarrtas API nas fhaide air adhart bho executor na phròises agus na àite lìonra eile; chan eil rèiteachadh executors gu riatanach a' rèiteachadh fuasgladh a' chur-a-bhog.

Nuair a tha roghainnean cur-a-bhog ann ach a dh'fhàillicheas an luchdadh

Lean ainm òstair an stòir, seòrsa an iarrtais agus a' chiad mhearachd. Faodaidh meata-dàta agus buill-tàileisg tighinn bho iomadh òstair. Chan eil URL stòir a tha co-chòrdail ri Maven a' dearbhadh gu bheil Spark a' leughadh an settings.xml a bhios òrdugh Maven soirbheachail a' cleachdadh.

Feumaidh luchdaiche Java taic a thoirt do mheic-eòlas a' phroxy agus don dearbhadh a tha a dhìth. Chan eil feartan òstair/port a' solar gach sgeama, agus chan eil feart http.proxyUsername a chaidh a chruthachadh a' fàs èifeachdach dìreach air sgàth 's gu bheil Java a' gabhail ris an ainm. Cùm an rèiteachadh ro-chur-a-bhog agus an luchdadh sònraichte a dh'fhàillich còmhla nuair a thathas a' dèanamh breithneachadh air an ìre seo.