กำหนดค่า Proxy สำหรับ Spark Connector ของ Snowflake บน AWS

สำหรับ Snowflake Spark connector บน AWS ให้กำหนดค่าตัวอ่านด้วยตัวเลือกพร็อกซีของ connector เอง:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options เก็บการตั้งค่า endpoint และการรับรองความถูกต้องของแอปพลิเคชัน เพิ่มตารางหรือคิวรีที่ต้องการก่อนเรียก load

use_proxy มีค่าเริ่มต้นเป็น false เมื่อเปิดใช้งาน จะต้องมี proxy_host และ proxy_port เป็นฟิลด์แยกกัน proxy_user และ proxy_password ให้บัญชีตัวกลาง หากไม่มีการรับรองความถูกต้องของพร็อกซี เส้นทางพร็อกซีสาธารณะที่ได้รับอนุญาตสามารถใช้ผู้สมัครโฮสต์และพอร์ตจากรายการพร็อกซี HTTP โดยยังคงการตั้งค่าบัญชีของ Snowflake ไว้

Snowflake ระบุในเอกสารว่าฟิลด์บัญชี proxy_protocol และ non_proxy_hosts ใช้ได้เฉพาะกับ AWS proxy_protocol ถูกเพิ่มใน connector 2.11.1 และมีค่าเริ่มต้นเป็น http non_proxy_hosts แยกโฮสต์ด้วยเส้นแนวตั้งที่ escape ใน URL (%7C) และรองรับเครื่องหมายดอกจันเป็นไวลด์การ์ด

ใช้ connector ที่ตรงกับเวอร์ชัน Spark และ Scala ของโปรเจกต์ ตัวเลือกแหล่งข้อมูลเหล่านี้มีชื่อและรูปแบบของตัวเอง คุณสมบัติ JDBC และออบเจ็กต์ java.net.Proxy ไม่ใช่ข้อมูลนำเข้าที่ใช้แทนกันได้