spark-shell ၏ package resolver အား စတင်ချိန်တွင် ၎င်း၏ proxy ပေးပါ

--packages ဖြေရှင်းမှုမတိုင်မီ driver JVM proxy ဂုဏ်သတ္တိများကို ပေးပါ; နောက်ပိုင်း shell ကုဒ်နှင့် executor ဆက်တင်များသည် ထို download ကို လွတ်သွားနိုင်သည်။

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

client ဘက်မှ spark-shell စတင်ချိန်တွင် ဤ driver JVM ရွေးချယ်မှုများသည် မှီခိုမှု ဖြေရှင်းချက်မတိုင်မီ ရောက်လာသည်။ သရုပ်ပြ endpoint နှင့် group:artifact:version ကို ထည့်သွင်းထားသော Spark ဗားရှင်း ပံ့ပိုးသည့် ရွေးချယ်မှုများဖြင့် ရည်ရွယ်သည့် တန်ဖိုးများသို့ လဲလှယ်ပါ။ Java ၏ host အမည်နှင့် port သည် သီးခြား ဂုဏ်သတ္တိများ ဖြစ်သည်။ ခွင့်ပြုထားသော အများသူငှာ မှီခိုမှု download များအတွက် HTTP proxy စာရင်း သည် ထို အကွက်များအတွက် ကိုယ်စားလှယ်လောင်းများ ပေးသည်။

shell မရရှိနိုင်မီ --packages မအောင်မြင်ပါက ဤနေရာကို အသုံးပြုပါ။ နောက်မှ ထည့်သွင်းသော application ကုဒ်သည် ယခင် download ကို ပြုပြင်၍ မရပါ။ Spark သည် စတင်ရွေးချယ်မှုများကို ပရိုဂရမ်ဆက်တင်များနှင့် ခွဲခြားသည်; client မုဒ်တွင် application ကုဒ် လုပ်ဆောင်ချိန်တွင် driver JVM သည် ရှိနှင့်ပြီး ဖြစ်သည်။

ဖြန့်ကျက်မုဒ်သည်လည်း spark.driver.extraJavaOptions အတွက် အရေးကြီးသည်: driver သည် proxy သို့ ၎င်း၏ ကိုယ်ပိုင်လမ်းကြောင်း လိုအပ်သော အခြားစက်တွင် လုပ်ဆောင်နိုင်သည်။ executor ၏ နောက်ပိုင်း API တောင်းဆိုမှုသည် အခြား လုပ်ငန်းစဉ်နှင့် အခြား ကွန်ရက်တည်နေရာ ဖြစ်သည်; executor များကို ပြင်ဆင်ခြင်းသည် စတင်ချိန် ဖြေရှင်းမှုကို မဖြစ်မနေ ပြင်ဆင်သည် မဟုတ်ပါ။

စတင်ရွေးချယ်မှုများ ရှိသော်လည်း download မအောင်မြင်သောအခါ

repository host အမည်၊ တောင်းဆိုမှု အမျိုးအစားနှင့် ပထမ အမှားကို လိုက်ကြည့်ပါ။ metadata နှင့် artifact များသည် host အများအပြားမှ လာနိုင်သည်။ Maven နှင့် ကိုက်ညီသော repository URL သည် အောင်မြင်သော Maven အမိန့်က အသုံးပြုသည့် settings.xml ကို Spark ဖတ်သည်ဟု သက်သေမပြပါ။

Java downloader သည် proxy ယန္တရားနှင့် လိုအပ်သော အထောက်အထား စစ်ဆေးမှုကို ပံ့ပိုးရမည်။ host/port ဂုဏ်သတ္တိများသည် scheme တိုင်းကို မပေးပါ၊ ဖန်တီးထားသော http.proxyUsername ဂုဏ်သတ္တိသည် Java က အမည်ကို လက်ခံသည် ဆိုရုံဖြင့် ထိရောက်လာသည် မဟုတ်ပါ။ ဤအဆင့်ကို စစ်ဆေးရာတွင် စတင်မှုမတိုင်မီ ဆက်တင်နှင့် တိကျသော မအောင်မြင်သည့် download ကို အတူတကွ ထားပါ။

ဆက်စပ်ဆောင်းပါးများ