Ba wa mai warware fakitin spark-shell proxy ɗinsa a lokacin ƙaddamarwa

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

A ƙaddamarwar spark-shell daga gefen abokin ciniki, waɗannan zaɓuɓɓukan JVM na direba suna zuwa kafin warwarewar dogaro. Musanya ƙarshen misalin da group:artifact:version da ƙimar da ake so ta amfani da zaɓuɓɓukan da sigar Spark da aka shigar ke goyon baya. Sunan masaukin Java da tashar jiragen ruwa halaye daban ne. Don saukewar dogaron jama'a da aka yarda, jerin proxy na HTTP yana ba da 'yan takara ga waɗannan filayen.

Yi amfani da wannan wuri lokacin da --packages ya kasa kafin shell ya samu. Kod ɗin aikace-aikacen da aka shigar daga baya ba zai iya gyara saukewar da ta gabata ba. Spark yana bambanta zaɓuɓɓukan ƙaddamarwa daga saitunan shirye-shirye; a yanayin abokin ciniki JVM na direba ya riga ya kasance lokacin da kod ɗin aikace-aikacen ke gudana.

Yanayin turawa ma yana da muhimmanci ga spark.driver.extraJavaOptions: direba na iya gudana a wata na'ura, wadda take buƙatar hanyarta zuwa proxy. Buƙatar API ta baya ta executor wani tsari ne da wani wuri na cibiyar sadarwa; saita executors ba lallai ba ne ya saita warwarewar farawa.

Lokacin da zaɓuɓɓukan ƙaddamarwa suna nan amma saukewar ta kasa

Bi sunan masaukin ajiya, nau'in buƙata da kuskuren farko. Bayanai da kayan aiki na iya zuwa daga masaukai da yawa. Adireshin ajiya mai jituwa da Maven ba ya tabbatar da cewa Spark yana karanta settings.xml da ingantaccen umarnin Maven ke amfani da shi.

Mai saukewa na Java dole ne ya goyi bayan tsarin proxy da tabbacin da ake buƙata. Halayen masauki/tasha ba sa bayar da kowane tsari, kuma ƙirƙira halayen http.proxyUsername ba ya yin tasiri don kawai Java ya karɓi sunan. Riƙe saitin kafin farawa da takamaiman saukewar da ta kasa tare yayin bincikar wannan mataki.