Gitt dem Paket-Resolver vum spark-shell beim Start säi Proxy

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Bei engem Clientstart vum spark-shell komme dës JVM-Optiounen vum Treiber virun der Ofléisung vun den Ofhängegkeeten. Ersetzt den illustrativen Endpunkt an group:artifact:version duerch déi virgesinn Wäerter mat Optiounen, déi déi installéiert Spark-Versioun ënnerstëtzt. Java-Hostnumm a -Port sinn getrennte Eigenschaften. Fir erlaabt ëffentlech Downloaden vun Ofhängegkeeten bitt d'Lëscht vun HTTP-Proxye Kandidaten fir déi Felder.

Benotzt dës Placéierung, wann --packages feelt, ier d'Shell disponibel gëtt. Anwendungscode, deen duerno agegëtt, kann den éieregen Download net reparéieren. Spark ënnerscheet Startoptiounen vu programmateschen Astellungen; am Clientmodus existéiert d'Treiber-JVM schonn, wann den Anwendungscode leeft.

Och de Bereitstellungsmodus ass fir spark.driver.extraJavaOptions wichteg: den Treiber kann op enger anerer Maschinn lafen, déi hiren eegene Wee zum Proxy brauch. Déi spéider API-Ufro vun engem Executor ass en aneren Prozess an en aneren Netzwierkplaz; Executoren ze konfiguréieren konfiguréiert net onbedéngt d'Startofléisung.

Wann Startoptiounen do sinn, awer den Download feelt

Follegt dem Hostnumm vum Repository, dem Ufrotyp an dem éischte Feeler. Metadaten an Artefakte kënnen aus méi Hoste kommen. Eng Maven-kompatibel Repository-URL beweist net, datt Spark déi settings.xml liest, déi eng erfollegräich Maven-Uweisung benotzt.

Den Java-Downloader muss de Proxy-Mechanismus an déi erfuerderlech Authentifizéierung ënnerstëtzen. Host/Port-Eigenschafte ginn net all Schema, an eng erfundenen http.proxyUsername-Eigenschaft gëtt net wirksam, just well Java den Numm akzeptéiert. Halt d'Konfiguratioun virum Start an dee konkreten feelgeschloenen Download beienee wann s du dës Etapp diagnostizéiers.