spark-shell को प्याकेज रिजोल्भरलाई सुरुवातमै यसको प्रोक्सी दिनुहोस्

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

क्लाइन्ट-साइड spark-shell सुरुवातमा यी ड्राइभर JVM विकल्पहरू निर्भरता समाधानअघि आउँछन्। उदाहरणको एन्डपोइन्ट र group:artifact:version लाई इन्स्टल गरिएको Spark संस्करणले समर्थन गर्ने विकल्पहरू प्रयोग गरी इच्छित मानहरूमा बदल्नुहोस्। Java होस्टनाम र पोर्ट छुट्टाछुट्टै गुण हुन्। अनुमति दिइएका सार्वजनिक निर्भरता डाउनलोडका लागि HTTP प्रोक्सी सूचीबाट ती क्षेत्रका लागि उम्मेदवारहरू पाइन्छन्।

शेल उपलब्ध हुनुअघि --packages असफल भएमा यो स्थान प्रयोग गर्नुहोस्। पछि हालिएको एप्लिकेसन कोडले अघिल्लो डाउनलोड सुधार्न सक्दैन। Spark ले सुरुवात विकल्पहरूलाई प्रोग्रामेटिक सेटिङबाट छुट्याउँछ; क्लाइन्ट मोडमा एप्लिकेसन कोड चल्दा ड्राइभर JVM पहिले नै हुन्छ।

डिप्लोयमेन्ट मोड पनि spark.driver.extraJavaOptions का लागि महत्त्वपूर्ण छ: ड्राइभर अर्को मेसिनमा चल्न सक्छ, जसलाई प्रोक्सीसम्म आफ्नै बाटो चाहिन्छ। executor को पछिको API अनुरोध अर्को प्रक्रिया र अर्को नेटवर्क स्थान हो; executors कन्फिगर गर्दा सुरुवाती समाधान अनिवार्य रूपमा कन्फिगर हुँदैन।

सुरुवात विकल्प हुँदा पनि डाउनलोड असफल हुँदा

रिपोजिटरी होस्टनाम, अनुरोध प्रकार र पहिलो त्रुटि पछ्याउनुहोस्। मेटाडेटा र आर्टिफ्याक्ट धेरै होस्टबाट आउन सक्छन्। Maven-अनुकूल रिपोजिटरी URL ले सफल Maven आदेशले प्रयोग गर्ने settings.xml Spark ले पढ्छ भनी प्रमाणित गर्दैन।

Java डाउनलोडरले प्रोक्सी संयन्त्र र आवश्यक प्रमाणीकरण समर्थन गर्नुपर्छ। होस्ट/पोर्ट गुणहरूले प्रत्येक स्किम दिँदैनन्, र बनाइएको http.proxyUsername गुण Java ले नाम स्वीकार गरेकै भरमा प्रभावकारी हुँदैन। यो चरणको निदान गर्दा सुरुवातअघिको कन्फिगरेसन र निश्चित असफल डाउनलोड सँगै राख्नुहोस्।