Տվեք spark-shell-ի փաթեթների լուծիչին իր պրոքսին գործարկման պահին

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Հաճախորդի կողմի spark-shell գործարկման ժամանակ դրայվերի այս JVM ընտրանքները գալիս են մինչև կախվածությունների լուծումը։ Փոխարինեք օրինակելի վերջնակետը և group:artifact:version-ը ցանկալի արժեքներով՝ օգտագործելով տեղադրված Spark տարբերակի աջակցած ընտրանքները։ Java-ի հոսթի անունը և պորտը առանձին հատկություններ են։ Թույլատրված հանրային կախվածությունների ներբեռնումների համար HTTP պրոքսիների ցանկը առաջարկում է թեկնածուներ այդ դաշտերի համար։

Օգտագործեք այս տեղադրությունը, երբ --packages-ը ձախողվում է մինչև shell-ի հասանելի դառնալը։ Դրանից հետո մուտքագրված հավելվածի կոդը չի կարող վերականգնել նախորդ ներբեռնումը։ Spark-ը տարբերում է գործարկման ընտրանքները ծրագրային կարգավորումներից. հաճախորդի ռեժիմում դրայվերի JVM-ը գոյություն ունի արդեն, երբ հավելվածի կոդը աշխատում է։

Տեղակայման ռեժիմը նույնպես կարևոր է spark.driver.extraJavaOptions-ի համար. դրայվերը կարող է աշխատել այլ մեքենայում, որն ունի պրոքսիի իր ուղին։ Executor-ի ավելի ուշ API հարցումը այլ գործընթաց և այլ ցանցային տեղ է. executors-ի կարգավորումը պարտադիր չէ, որ կարգավորի գործարկման լուծումը։

Երբ գործարկման ընտրանքները կան, բայց ներբեռնումը ձախողվում է

Հետևեք պահոցի հոսթի անվանը, հարցման տեսակին և առաջին սխալին։ Մետատվյալները և արտեֆակտները կարող են գալ մի քանի հոսթներից։ Maven-համատեղելի պահոցի URL-ը չի ապացուցում, որ Spark-ը կարդում է settings.xml-ը, որն օգտագործում է հաջող Maven հրամանը։

Java ներբեռնիչը պետք է աջակցի պրոքսի մեխանիզմին և պահանջվող նույնականացմանը։ Հոսթ/պորտ հատկությունները չեն ապահովում բոլոր սխեմաները, և հորինված http.proxyUsername հատկությունը արդյունավետ չի դառնում միայն այն պատճառով, որ Java-ն ընդունում է անունը։ Այս փուլը ախտորոշելիս միասին պահեք գործարկումից առաջ կոնֆիգուրացիան և կոնկրետ ձախողված ներբեռնումը։