Δώστε στον resolver πακέτων του spark-shell το proxy του κατά την εκκίνηση

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Σε εκκίνηση spark-shell από την πλευρά του πελάτη, αυτές οι επιλογές JVM του driver φτάνουν πριν από την επίλυση εξαρτήσεων. Αντικαταστήστε το ενδεικτικό τελικό σημείο και το group:artifact:version με τις επιθυμητές τιμές χρησιμοποιώντας επιλογές που υποστηρίζει η εγκατεστημένη έκδοση Spark. Το όνομα κεντρικού υπολογιστή και η θύρα της Java είναι ξεχωριστές ιδιότητες. Για επιτρεπόμενες λήψεις δημόσιων εξαρτήσεων, η λίστα HTTP proxy προσφέρει υποψηφίους για αυτά τα πεδία.

Χρησιμοποιήστε αυτή τη θέση όταν το --packages αποτυγχάνει πριν γίνει διαθέσιμο το shell. Ο κώδικας εφαρμογής που εισάγεται μετά δεν μπορεί να διορθώσει την προηγούμενη λήψη. Το Spark διακρίνει τις επιλογές εκκίνησης από τις προγραμματικές ρυθμίσεις· στη λειτουργία πελάτη η JVM του driver υπάρχει ήδη όταν εκτελείται ο κώδικας εφαρμογής.

Η λειτουργία ανάπτυξης έχει επίσης σημασία για το spark.driver.extraJavaOptions: ο driver μπορεί να εκτελείται σε άλλο μηχάνημα, που χρειάζεται τη δική του διαδρομή προς το proxy. Το μεταγενέστερο αίτημα API ενός executor είναι άλλη διεργασία και άλλη θέση δικτύου· η διαμόρφωση των executor δεν διαμορφώνει απαραίτητα την επίλυση κατά την εκκίνηση.

Όταν υπάρχουν επιλογές εκκίνησης αλλά η λήψη αποτυγχάνει

Ακολουθήστε το όνομα κεντρικού υπολογιστή του αποθετηρίου, τον τύπο αιτήματος και το πρώτο σφάλμα. Τα μεταδεδομένα και τα artifacts μπορεί να προέρχονται από πολλούς hosts. Ένα URL αποθετηρίου συμβατό με Maven δεν αποδεικνύει ότι το Spark διαβάζει το settings.xml που χρησιμοποιεί μια επιτυχημένη εντολή Maven.

Ο λήπτης της Java πρέπει να υποστηρίζει τον μηχανισμό proxy και την απαιτούμενη πιστοποίηση. Οι ιδιότητες host/port δεν παρέχουν κάθε σχήμα, και μια επινοημένη ιδιότητα http.proxyUsername δεν γίνεται αποτελεσματική μόνο επειδή η Java δέχεται το όνομα. Κρατήστε τη διαμόρφωση πριν την εκκίνηση και τη συγκεκριμένη αποτυχημένη λήψη μαζί κατά τη διάγνωση αυτού του σταδίου.