Eman spark-shell-en pakete-ebazleari bere proxya abiaraztean

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Bezero-aldeko spark-shell abiaraztean driverraren JVM aukera hauek mendekotasunen ebazpena baino lehen iristen dira. Ordeztu adibideko amaiera-puntua eta group:artifact:version instalatutako Spark bertsioak onartzen dituen aukerak erabiliz nahi diren balioekin. Java ostalari-izena eta ataka propietate bereiziak dira. Baimendutako mendekotasun publikoen deskargetarako HTTP proxyen zerrendak hautagaiak eskaintzen ditu eremu horietarako.

Erabili kokapen hau --packages shell-a erabilgarri egon baino lehen huts egiten duenean. Geroago sartutako aplikazio-kodeak ezin du aurreko deskarga konpondu. Spark-ek abiarazte-aukerak ezarpen programatikoetatik bereizten ditu; bezero moduan driverraren JVM-a jada badago aplikazio-kodea exekutatzen denean.

Inplementazio-modua ere garrantzitsua da spark.driver.extraJavaOptions rentzat: driverra beste makina batean exekuta daiteke, eta horrek proxiorako bere bidea behar du. Executor baten geroagoko API eskaera beste prozesu eta sare-kokapen bat da; executorrak konfiguratzeak ez du nahitaez abiarazteko ebazpena konfiguratzen.

Abiarazte-aukerak daudenean baina deskargak huts egiten duenean

Jarraitu biltegiko ostalari-izena, eskaera mota eta lehen errorea. Metadatuak eta artefaktuak hainbat ostalaritatik etor daitezke. Maven-ekin bateragarria den biltegi URL batek ez du frogatzen Spark-ek Maven komando arrakastatsu batek erabiltzen duen settings.xml irakurtzen duenik.

Java deskargatzaileak proxy mekanismoa eta behar den autentifikazioa onartu behar ditu. Ostalari/ataka propietateek ez dute eskema guztiak ematen, eta asmatutako http.proxyUsername propietate bat ez da eraginkorra bihurtzen Java izena onartzeagatik bakarrik. Eutsi elkarrekin abiarazte aurreko konfigurazioa eta huts egindako deskarga zehatza etapa hau diagnostikatzean.