Jepini zgjidhësit të paketave të spark-shell proxy-n e tij në nisje

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Në një nisje spark-shell nga ana e klientit, këto opsione të JVM-së së drejtuesit vijnë përpara zgjidhjes së varësive. Zëvendësoni pikën fundore ilustruese dhe group:artifact:version me vlerat e synuara duke përdorur opsione që mbështeten nga versioni i instaluar i Spark. Emri i hostit dhe porta e Java janë veti të veçanta. Për shkarkime publike varësish të lejuara, lista e proxy-ve HTTP ofron kandidatë për ato fusha.

Përdorni këtë vendosje kur --packages dështon përpara se shell-i të bëhet i disponueshëm. Kodi aplikativ i futur më pas nuk mund të rregullojë shkarkimin e mëparshëm. Spark dallon opsionet e nisjes nga cilësimet programatike; në modalitetin klient JVM-ja e drejtuesit ekziston tashmë kur kodi aplikativ ekzekutohet.

Edhe modaliteti i vendosjes ka rëndësi për spark.driver.extraJavaOptions: drejtuesi mund të ekzekutohet në një makinë tjetër, e cila ka nevojë për rrugën e vet drejt proxy-t. Kërkesa API e mëvonshme e një ekzekutuesi është proces dhe vendndodhje tjetër rrjeti; konfigurimi i ekzekutuesve nuk konfiguron domosdoshmërisht zgjidhjen në nisje.

Kur opsionet e nisjes janë të pranishme por shkarkimi dështon

Ndiqni emrin e hostit të depozitës, llojin e kërkesës dhe gabimin e parë. Metadata dhe artefaktet mund të vijnë nga disa hoste. Një URL depozite e përputhshme me Maven nuk vërteton se Spark lexon settings.xml që përdor një komandë Maven e suksesshme.

Shkarkuesi i Java duhet të mbështesë mekanizmin e proxy-t dhe vërtetimin e kërkuar. Vetitë host/portë nuk ofrojnë çdo skemë, dhe një veti http.proxyUsername e sajuar nuk bëhet efektive vetëm sepse Java e pranon emrin. Mbani së bashku konfigurimin para nisjes dhe shkarkimin konkret të dështuar kur diagnozoni këtë fazë.