הגדרת פרוקסי עבור מחבר Spark של Snowflake ב-AWS

הגדירו את האפשרויות use_proxy, proxy_host ו-proxy_port של מחבר Spark, עם מגבלות AWS המתועדות בנוגע לפרוטוקול, לחשבון ולעקיפה.

עבור מחבר Spark של Snowflake ב-AWS, הגדירו את הקורא עם אפשרויות הפרוקסי של המחבר עצמו:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options מכיל את הגדרות נקודת הקצה והאימות של היישום. הוסיפו את הטבלה או השאילתה הרצויה לפני קריאה ל-load.

use_proxy הוא false כברירת מחדל. כשמפעילים אותו, הוא דורש את proxy_host ו-proxy_port כשדות נפרדים. proxy_user ו-proxy_password מספקים חשבון מתווך. ללא אימות פרוקסי, מסלול פרוקסי ציבורי מורשה יכול להשתמש במועמדים של מארח ופורט מרשימת פרוקסי HTTP תוך שמירה על הגדרות החשבון של Snowflake.

Snowflake מתעד את שדות החשבון, proxy_protocol ו-non_proxy_hosts כייחודיים ל-AWS. proxy_protocol נוסף במחבר 2.11.1 ובורירת מחדל הוא http. non_proxy_hosts מפריד בין מארחים בקו אנכי עם escaping ב-URL (%7C) ותומך בכוכבית כתו כללי.

השתמשו במחבר שמתאים לגרסאות Spark ו-Scala של הפרויקט. לאפשרויות מקור הנתונים האלה יש שמות ופורמטים משלהם; מאפייני JDBC ואובייקטי java.net.Proxy אינם קלטים ניתנים להחלפה.

מאמרים קשורים