Cấu hình proxy cho trình kết nối Spark của Snowflake trên AWS

Cấu hình các tùy chọn use_proxy, proxy_host và proxy_port của trình kết nối Spark, cùng các hạn chế đã được ghi nhận của AWS về giao thức, tài khoản và bỏ qua.

Đối với trình kết nối Spark của Snowflake trên AWS, hãy cấu hình trình đọc bằng các tùy chọn proxy riêng của trình kết nối:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options chứa cài đặt điểm cuối và xác thực của ứng dụng. Thêm bảng hoặc truy vấn mong muốn trước khi gọi load.

use_proxy mặc định là false. Khi được bật, nó yêu cầu proxy_host và proxy_port là các trường riêng biệt. proxy_user và proxy_password cung cấp tài khoản trung gian. Không có xác thực proxy, một tuyến proxy công khai được phép có thể dùng các ứng viên máy chủ và cổng từ danh sách proxy HTTP trong khi giữ nguyên cài đặt tài khoản của Snowflake.

Snowflake ghi nhận các trường tài khoản, proxy_protocol và non_proxy_hosts là chỉ dành cho AWS. proxy_protocol được thêm trong trình kết nối 2.11.1 và mặc định là http. non_proxy_hosts phân tách máy chủ bằng dấu gạch đứng được thoát trong URL (%7C) và hỗ trợ dấu hoa thị làm ký tự đại diện.

Dùng trình kết nối phù hợp với phiên bản Spark và Scala của dự án. Các tùy chọn nguồn dữ liệu này có tên và định dạng riêng; thuộc tính JDBC và đối tượng java.net.Proxy không phải là đầu vào có thể hoán đổi.

Bài viết liên quan