spark-shell के पैकेज रिज़ॉल्वर को लॉन्च के समय उसका प्रॉक्सी दें

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

क्लाइंट-साइड spark-shell लॉन्च पर ये ड्राइवर JVM विकल्प निर्भरता रिज़ॉल्यूशन से पहले आते हैं। उदाहरण वाले एंडपॉइंट और group:artifact:version को इंस्टॉल किए गए Spark संस्करण द्वारा समर्थित विकल्पों का उपयोग करके इच्छित मानों से बदलें। Java होस्टनाम और पोर्ट अलग-अलग गुण हैं। अनुमत सार्वजनिक निर्भरता डाउनलोड के लिए HTTP प्रॉक्सी सूची उन फ़ील्ड के लिए उम्मीदवार देती है।

इस स्थान का उपयोग तब करें जब शेल उपलब्ध होने से पहले --packages विफल हो जाए। बाद में दर्ज किया गया एप्लिकेशन कोड पहले के डाउनलोड को ठीक नहीं कर सकता। Spark लॉन्च विकल्पों को प्रोग्रामेटिक सेटिंग्स से अलग रखता है; क्लाइंट मोड में एप्लिकेशन कोड चलने तक ड्राइवर JVM पहले से मौजूद होता है।

डिप्लॉयमेंट मोड भी spark.driver.extraJavaOptions के लिए मायने रखता है: ड्राइवर किसी अन्य मशीन पर चल सकता है, जिसे प्रॉक्सी तक अपना रास्ता चाहिए। executor का बाद वाला API अनुरोध दूसरी प्रक्रिया और दूसरा नेटवर्क स्थान है; executors को कॉन्फ़िगर करने से स्टार्टअप रिज़ॉल्यूशन ज़रूरी नहीं कि कॉन्फ़िगर हो।

जब लॉन्च विकल्प मौजूद हों पर डाउनलोड विफल हो

रिपॉज़िटरी होस्टनाम, अनुरोध प्रकार और पहली त्रुटि का पालन करें। मेटाडेटा और आर्टिफ़ैक्ट कई होस्ट से आ सकते हैं। Maven-संगत रिपॉज़िटरी URL यह सिद्ध नहीं करता कि Spark उस settings.xml को पढ़ता है जिसे सफल Maven कमांड उपयोग करता है।

Java डाउनलोडर को प्रॉक्सी तंत्र और आवश्यक प्रमाणीकरण का समर्थन करना चाहिए। होस्ट/पोर्ट गुण हर स्कीम नहीं देते, और गढ़ा हुआ http.proxyUsername गुण केवल इसलिए प्रभावी नहीं हो जाता कि Java नाम स्वीकार करता है। इस चरण का निदान करते समय लॉन्च-पूर्व कॉन्फ़िगरेशन और विशिष्ट विफल डाउनलोड साथ रखें।