Dejte resolveru balíčků spark-shell jeho proxy při spuštění

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Při klientském spuštění spark-shell přicházejí tyto volby JVM ovladače před rozlišením závislostí. Nahraďte ilustrativní koncový bod a group:artifact:version zamýšlenými hodnotami pomocí voleb, které podporuje nainstalovaná verze Sparku. Název hostitele a port Javy jsou samostatné vlastnosti. Pro povolená stahování veřejných závislostí nabízí seznam HTTP proxy kandidáty pro tato pole.

Toto umístění použijte, když --packages selže dříve, než je shell dostupný. Kód aplikace zadaný později nemůže opravit dřívější stažení. Spark rozlišuje volby spuštění od programových nastavení; v klientském režimu JVM ovladače existuje už v době, kdy se kód aplikace spouští.

Režim nasazení je důležitý i pro spark.driver.extraJavaOptions: ovladač může běžet na jiném stroji, který potřebuje vlastní cestu k proxy. Pozdější API požadavek exekutoru je jiný proces a jiné síťové místo; konfigurace exekutorů nutně nenastaví rozlišení při startu.

Když jsou volby spuštění přítomny, ale stahování selhává

Sledujte název hostitele repozitáře, typ požadavku a první chybu. Metadata a artefakty mohou pocházet z několika hostitelů. URL repozitáře kompatibilní s Mavenem nedokazuje, že Spark čte settings.xml, který používá úspěšný příkaz Maven.

Stahovač Javy musí podporovat proxy mechanismus a požadované ověření. Vlastnosti hostitele/portu neposkytují každé schéma a vymyšlená vlastnost http.proxyUsername nezačne fungovat jen proto, že Java název přijme. Při diagnostice této fáze držte pohromadě konfiguraci před spuštěním a konkrétní neúspěšné stažení.