Konfigurasikan Proksi untuk Penyambung Spark Snowflake di AWS

Konfigurasikan pilihan use_proxy, proxy_host dan proxy_port penyambung Spark, dengan sekatan AWS yang didokumenkan pada protokol, akaun dan bypass.

Untuk penyambung Spark Snowflake di AWS, konfigurasikan pembaca dengan pilihan proksi penyambung itu sendiri:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options menyimpan tetapan titik akhir dan pengesahan aplikasi. Tambah jadual atau pertanyaan yang dimaksudkan sebelum memanggil load.

use_proxy lalai kepada false. Apabila didayakan, ia memerlukan proxy_host dan proxy_port sebagai medan berasingan. proxy_user dan proxy_password menyediakan akaun perantara. Tanpa pengesahan proksi, laluan proksi awam yang dibenarkan boleh menggunakan calon hos dan port daripada senarai proksi HTTP sambil mengekalkan tetapan akaun Snowflake.

Snowflake mendokumenkan medan akaun, proxy_protocol dan non_proxy_hosts sebagai khusus AWS. proxy_protocol ditambah dalam penyambung 2.11.1 dan lalainya http. non_proxy_hosts memisahkan hos dengan paip yang di-escape URL (%7C) dan menyokong asterisk sebagai wildcard.

Gunakan penyambung yang sepadan dengan versi Spark dan Scala projek. Pilihan sumber data ini mempunyai nama dan format tersendiri; sifat JDBC dan objek java.net.Proxy bukan input yang boleh ditukar ganti.

Artikel berkaitan