მიეცით spark-shell-ის პაკეტების ამოხსნას მისი პროქსი გაშვებისას

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

კლიენტის მხრიდან spark-shell-ის გაშვებისას დრაივერის ეს JVM ოფციები დამოკიდებულებების ამოხსნამდე მოდის. შეცვალეთ საილუსტრაციო ბოლო წერტილი და group:artifact:version სასურველი მნიშვნელობებით, დაყენებული Spark ვერსიის მიერ მხარდაჭერილი ოფციებით. Java-ს ჰოსტის სახელი და პორტი ცალკე თვისებებია. ნებადართული საჯარო დამოკიდებულებების ჩამოტვირთვისთვის HTTP პროქსიების სიიდან შეგიძლიათ აირჩიოთ კანდიდატები ამ ველებისთვის.

გამოიყენეთ ეს განლაგება, როცა --packages ვერ სრულდება shell-ის ხელმისაწვდომობამდე. შემდგომში შეყვანილი აპლიკაციის კოდი ვერ შეაკეთებს წინა ჩამოტვირთვას. Spark განასხვავებს გაშვების ოფციებს პროგრამული პარამეტრებისგან; კლიენტის რეჟიმში დრაივერის JVM უკვე არსებობს, როცა აპლიკაციის კოდი მუშაობს.

განლაგების რეჟიმი ასევე მნიშვნელოვანია spark.driver.extraJavaOptions-ისთვის: დრაივერს შეუძლია სხვა მანქანაზე მუშაობა, რომელსაც პროქსიმდე საკუთარი გზა სჭირდება. executor-ის მოგვიანო API მოთხოვნა სხვა პროცესი და სხვა ქსელური ადგილია; executor-ების კონფიგურაცია სულაც არ აყენებს გაშვების ამოხსნას.

როცა გაშვების ოფციები არსებობს, მაგრამ ჩამოტვირთვა ვერ სრულდება

მიჰყევით საცავის ჰოსტის სახელს, მოთხოვნის ტიპს და პირველ შეცდომას. მეტამონაცემები და არტეფაქტები შეიძლება რამდენიმე ჰოსტიდან მოვიდეს. Maven-თავსებადი საცავის URL არ ამტკიცებს, რომ Spark კითხულობს settings.xml-ს, რომელსაც წარმატებული Maven ბრძანება იყენებს.

Java-ს ჩამომტვირთავმა უნდა მხარი დაუჭიროს პროქსის მექანიზმს და საჭირო ავთენტიფიკაციას. ჰოსტი/პორტის თვისებები ყველა სქემას არ იძლევა, და გამოგონილი http.proxyUsername თვისება ეფექტური არ ხდება მხოლოდ იმიტომ, რომ Java სახელს იღებს. ამ ეტაპის დიაგნოსტიკისას ერთად შეინახეთ გაშვებამდელი კონფიგურაცია და კონკრეტული წარუმატებელი ჩამოტვირთვა.