Mengonfigurasi Proxy untuk Konektor Spark Snowflake di AWS

Konfigurasikan opsi use_proxy, proxy_host, dan proxy_port konektor Spark, dengan pembatasan AWS yang terdokumentasi pada protokol, akun, dan bypass.

Untuk konektor Spark Snowflake di AWS, konfigurasikan pembaca dengan opsi proxy milik konektor itu sendiri:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options menyimpan setelan endpoint dan autentikasi aplikasi. Tambahkan tabel atau kueri yang dimaksud sebelum memanggil load.

use_proxy bernilai false secara default. Saat diaktifkan, opsi ini memerlukan proxy_host dan proxy_port sebagai bidang terpisah. proxy_user dan proxy_password menyediakan akun perantara. Tanpa autentikasi proxy, rute proxy publik yang diizinkan dapat memakai kandidat host dan port dari daftar proxy HTTP sambil mempertahankan setelan akun Snowflake.

Snowflake mendokumentasikan bidang akun, proxy_protocol, dan non_proxy_hosts sebagai khusus AWS. proxy_protocol ditambahkan pada konektor 2.11.1 dan default-nya http. non_proxy_hosts memisahkan host dengan tanda pipa yang di-escape URL (%7C) dan mendukung tanda bintang sebagai wildcard.

Gunakan konektor yang cocok dengan versi Spark dan Scala proyek. Opsi sumber data ini memiliki nama dan formatnya sendiri; properti JDBC dan objek java.net.Proxy bukan masukan yang dapat dipertukarkan.

Artikel terkait