Anna spark-shelli paketilahendajale käivitamisel tema puhverserver

Esita draiveri JVM-i puhverserveri omadused enne --packages lahendamist; hilisem shelli kood ja täitja seaded võivad selle allalaadimise vahele jätta.

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Kliendipoolsel spark-shell käivitamisel jõuavad need draiveri JVM-i valikud enne sõltuvuste lahendamist. Asenda näitlik lõpp-punkt ja group:artifact:version soovitud väärtustega, kasutades valikuid, mida paigaldatud Sparki versioon toetab. Java hostinimi ja port on eraldi omadused. Lubatud avalike sõltuvuste allalaadimiste jaoks pakub HTTP-puhverserverite loend kandidaate nende väljade jaoks.

Kasuta seda paigutust, kui --packages ebaõnnestub enne, kui shell kättesaadavaks saab. Hiljem sisestatud rakenduse kood ei saa varasemat allalaadimist parandada. Spark eristab käivitusvalikuid programmilistest seadetest; kliendirežiimis on draiveri JVM juba olemas, kui rakenduse kood töötab.

Ka juurutusrežiim on spark.driver.extraJavaOptions jaoks oluline: draiver võib töötada teises masinas, mis vajab oma teed puhverserverini. Täitja hilisem API-päring on teine protsess ja teine võrgukoht; täitjate seadistamine ei sea tingimata käivitamise lahendust.

Kui käivitusvalikud on olemas, kuid allalaadimine ebaõnnestub

Jälgi hoidla hostinime, päringu tüüpi ja esimest viga. Metaandmed ja artefaktid võivad tulla mitmest hostist. Maveniga ühilduv hoidla URL ei tõesta, et Spark loeb settings.xml, mida kasutab edukas Maveni käsk.

Java allalaadija peab toetama puhverserveri mehhanismi ja nõutavat autentimist. Host/port omadused ei paku igat skeemi ja väljamõeldud http.proxyUsername omadus ei muutu toimivaks ainult seetõttu, et Java nime aktsepteerib. Hoia käivituseelne konfiguratsioon ja konkreetne ebaõnnestunud allalaadimine selle etapi diagnoosimisel koos.

Seotud artiklid