Cấp proxy cho trình phân giải gói của spark-shell ngay khi khởi chạy

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Khi khởi chạy spark-shell phía máy khách, các tùy chọn JVM của trình điều khiển này đến trước khi phân giải phụ thuộc. Thay điểm cuối minh họa và group:artifact:version bằng giá trị mong muốn, dùng các tùy chọn mà phiên bản Spark đã cài hỗ trợ. Tên máy chủ và cổng của Java là hai thuộc tính riêng. Với các lần tải phụ thuộc công khai được phép, danh sách proxy HTTP gợi ý ứng viên cho các trường đó.

Dùng vị trí này khi --packages thất bại trước khi shell sẵn sàng. Mã ứng dụng nhập sau đó không thể sửa lần tải xuống trước. Spark phân biệt tùy chọn khởi chạy với cấu hình lập trình; ở chế độ máy khách, JVM của trình điều khiển đã tồn tại khi mã ứng dụng chạy.

Chế độ triển khai cũng quan trọng với spark.driver.extraJavaOptions: trình điều khiển có thể chạy trên máy khác, nơi cần đường đi riêng tới proxy. Yêu cầu API sau đó của executor là tiến trình và vị trí mạng khác; cấu hình executor không nhất thiết cấu hình việc phân giải lúc khởi động.

Khi có tùy chọn khởi chạy nhưng lần tải xuống thất bại

Theo dõi tên máy chủ kho, loại yêu cầu và lỗi đầu tiên. Siêu dữ liệu và hiện vật có thể đến từ nhiều máy chủ. URL kho tương thích Maven không chứng minh Spark đọc settings.xml mà một lệnh Maven thành công dùng.

Trình tải Java phải hỗ trợ cơ chế proxy và xác thực cần thiết. Thuộc tính máy chủ/cổng không cung cấp mọi lược đồ, và thuộc tính http.proxyUsername bịa ra không trở nên hiệu lực chỉ vì Java chấp nhận cái tên. Giữ cùng nhau cấu hình trước khi khởi chạy và lần tải xuống thất bại cụ thể khi chẩn đoán giai đoạn này.