spark-shell च्या पॅकेज रिझॉल्व्हरला लाँचच्या वेळी त्याचा प्रॉक्सी द्या

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

क्लायंट-साइड spark-shell लाँचमध्ये हे ड्रायव्हर JVM पर्याय अवलंबित्व रिझोल्यूशनपूर्वी येतात. उदाहरणातील एंडपॉइंट आणि group:artifact:version इन्स्टॉल केलेल्या Spark आवृत्तीने समर्थित पर्याय वापरून इच्छित मूल्यांनी बदला. Java होस्टनाव आणि पोर्ट वेगवेगळे गुणधर्म आहेत. अनुमत सार्वजनिक अवलंबित्व डाउनलोडसाठी HTTP प्रॉक्सी यादीतून त्या फील्डसाठी उमेदवार मिळतात.

शेल उपलब्ध होण्यापूर्वी --packages अयशस्वी झाल्यास हे स्थान वापरा. नंतर टाकलेला अनुप्रयोग कोड आधीचे डाउनलोड दुरुस्त करू शकत नाही. Spark लाँच पर्यायांना प्रोग्रामेटिक सेटिंग्जपासून वेगळे ठेवतो; क्लायंट मोडमध्ये अनुप्रयोग कोड चालताना ड्रायव्हर JVM आधीच अस्तित्वात असते.

डिप्लॉयमेंट मोडही spark.driver.extraJavaOptions साठी महत्त्वाचा आहे: ड्रायव्हर दुसऱ्या मशीनवर चालू शकतो, ज्याला प्रॉक्सीपर्यंत स्वतःचा मार्ग लागतो. executor ची नंतरची API विनंती दुसरी प्रक्रिया आणि दुसरे नेटवर्क स्थान आहे; executors संरचीत केल्याने स्टार्टअप रिझोल्यूशन संरचीत होतेच असे नाही.

लाँच पर्याय असूनही डाउनलोड अयशस्वी झाल्यास

रिपॉझिटरी होस्टनाव, विनंतीचा प्रकार आणि पहिली त्रुटी पाळा. मेटाडेटा आणि आर्टिफॅक्ट अनेक होस्टकडून येऊ शकतात. Maven-सुसंगत रिपॉझिटरी URL हे सिद्ध करत नाही की Spark यशस्वी Maven कमांड वापरत असलेले settings.xml वाचते.

Java डाउनलोडरने प्रॉक्सी यंत्रणा आणि आवश्यक प्रमाणीकरणाला समर्थन दिले पाहिजे. होस्ट/पोर्ट गुणधर्म प्रत्येक स्कीम देत नाहीत, आणि बनावट http.proxyUsername गुणधर्म केवळ Java नाव स्वीकारते म्हणून प्रभावी होत नाही. हा टप्पा निदान करताना लाँचपूर्व संरचना आणि विशिष्ट अयशस्वी डाउनलोड एकत्र ठेवा.