spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

د client له اړخه د spark-shell په پیل کې دا driver JVM اختیارونه د تړاو حل وړاندې رسیږي. د بېلګې پای ټکی او group:artifact:version د نصب شوي Spark نسخې لخوا ملاتړ شوي اختیارونه کارولي نیت شوو ارزښتونو سره بدل کړئ. د Java هوسټ نوم او پورټ جلا ځانګړتیاوې دي. د اجازه شوو عامه تړاو ډاونلوډونو لپاره د HTTP پراکسي لېست د هغو ساحو لپاره نوماندان وړاندې کوي.

دا ځای هغه وخت وکاروئ چې --packages د shell د شتون څخه وړاندې ناکام شي. وروسته داخل شوی اپلیکیشن کوډ نشي کولی پخوانی ډاونلوډ سم کړي. Spark د پیل اختیارونه له پروګرامي تنظیماتو څخه بېلي کوي; په client حالت کې د اپلیکیشن کوډ د چلېدو په وخت کې driver JVM مخکې له مخکې شته.

د ځای پرځای کولو حالت هم spark.driver.extraJavaOptions لپاره مهم دی: driver کېدای شي په بله ماشین کې چل شي، چې پراکسي ته خپله لار غواړي. د executor وروستی API غوښتنه بله پروسه او بل شبکه یي ځای دی; د executors تنظیمول اړینه نه ده چې د پیل حل تنظیم کړي.

کله چې د پیل اختیارونه شته خو ډاونلوډ ناکام شي

د زېرمې د هوسټ نوم، د غوښتنې ډول او لومړنۍ تېروتنه تعقیب کړئ. میټاډاټا او artifactونه کېدای شي له څو هوسټونو څخه راشي. د Maven سره سم زېرمې URL نه ثابتوي چې Spark هغه settings.xml لولي چې بریالی Maven امر یې کاروي.

د Java ډاونلوډر باید د پراکسي میکانیزم او اړین تصدیق ملاتړ وکړي. د هوسټ/پورټ ځانګړتیاوې هر سکیم نه برابروي، او جوړه شوې http.proxyUsername ځانګړتیا یوازې د دې لپاره مؤثره نه کیږي چې Java نوم مني. د دې پړاو د تشخیص په وخت کې د پیل څخه مخکې تنظیمات او ځانګړی ناکام ډاونلوډ یو ځای وساتئ.

اړوندې مقالې