Ipe kiondozi cha vifurushi cha spark-shell proksi yake wakati wa kuanzisha

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Wakati wa kuanzisha spark-shell kwa upande wa mteja, chaguo hizi za JVM za kiendeshi hufika kabla ya utatuzi wa vitegemezi. Badilisha mwisho wa mfano na group:artifact:version kwa thamani zinazokusudiwa kwa kutumia chaguo zinazoungwa mkono na toleo la Spark lililosakinishwa. Jina la mwenyeji na lango la Java ni sifa tofauti. Kwa upakuaji wa vitegemezi vya umma unaoruhusiwa, orodha ya proksi za HTTP hutoa wagombea kwa sehemu hizo.

Tumia nafasi hii wakati --packages inashindwa kabla shell haijapatikana. Msimbo wa programu unaoingizwa baadaye hauwezi kurekebisha upakuaji wa awali. Spark hutofautisha chaguo za kuanzisha na mipangilio ya kiprogramu; katika hali ya mteja JVM ya kiendeshi tayari ipo wakati msimbo wa programu unapotekelezwa.

Hali ya usambazaji pia ni muhimu kwa spark.driver.extraJavaOptions: kiendeshi kinaweza kukimbia kwenye mashine nyingine, ambayo inahitaji njia yake mwenyewe kwa proksi. Ombi la API la baadaye la executor ni mchakato mwingine na eneo lingine la mtandao; kusanidi executors hakusanidi utatuzi wa mwanzo.

Wakati chaguo za kuanzisha zipo lakini upakuaji unashindwa

Fuata jina la mwenyeji wa hazina, aina ya ombi na hitilafu ya kwanza. Metadata na vitu vinaweza kutoka kwa wenyeji kadhaa. URL ya hazina inayooana na Maven haithibitishi kwamba Spark inasoma settings.xml inayotumiwa na amri ya Maven iliyofanikiwa.

Kipakuzi cha Java lazima kiunge mkono utaratibu wa proksi na uthibitishaji unaohitajika. Sifa za mwenyeji/lango hazipei kila mpango, na sifa ya http.proxyUsername iliyobuniwa haifanyiki kuwa na ufanisi kwa sababu tu Java inakubali jina. Weka pamoja usanidi wa kabla ya kuanzisha na upakuaji maalum ulioshindwa unapochunguza hatua hii.