spark-shell-ийн багц шийдэгчид ажиллагаа эхлэхэд нь прокси өгөх

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Клиент талаас spark-shell эхлэхэд драйверын эдгээр JVM сонголтууд хамааралтын шийдлээс өмнө ирдэг. Жишээ төгсгөлийн цэг болон group:artifact:version-ыг суулгасан Spark хувилбарын дэмждэг сонголтуудыг ашиглан хүссэн утгаар солино уу. Java-гийн хост нэр болон порт нь тусдаа шинж чанарууд юм. Зөвшөөрөгдсөн нийтийн хамааралтын таталтуудад HTTP проксийн жагсаалтаас эдгээр талбарын нэр дэвшигчдийг санал болгодог.

Shell боломжтой болохоос өмнө --packages бүтэлгүйтэх үед энэ байрлалыг ашиглаарай. Дараа нь оруулсан програмын код өмнөх таталтыг засах боломжгүй. Spark эхлэх сонголтуудыг програмын тохиргооноос ялгадаг; клиент горимд програмын код ажиллах үед драйверын JVM аль хэдийн байдаг.

Байршуулалтын горим мөн spark.driver.extraJavaOptions-д чухал: драйвер прокси рүү өөрийн гэсэн зам шаарддаг өөр машин дээр ажиллаж болно. executor-ийн дараагийн API хүсэлт нь өөр процесс, өөр сүлжээний байршил юм; executor-уудыг тохируулах нь эхлэх шийдлийг заавал тохируулдаггүй.

Эхлэх сонголтууд байгаа ч таталт бүтэлгүйтэх үед

Репозиторийн хост нэр, хүсэлтийн төрөл, эхний алдааг дагаарай. Мета өгөгдөл болон артефактууд хэд хэдэн хостоос ирж болно. Maven-тай нийцэх репозиторийн URL нь Spark амжилттай Maven командын ашигладаг settings.xml-ыг уншдаг гэдгийг батлахгүй.

Java татагч нь прокси механизм болон шаардлагатай баталгаажуулалтыг дэмжих ёстой. Хост/порт шинж чанарууд бүх схемыг өгдөггүй бөгөөд зохиомол http.proxyUsername шинж чанар нь Java нэрийг хүлээн авснаар л үр дүнтэй болохгүй. Энэ үе шатыг оношлохдоо эхлэхийн өмнөх тохиргоо болон тодорхой бүтэлгүйтсэн таталтыг хамт байлгаарай.