پیکربندی پروکسی برای اتصال‌دهنده Spark اسنوفلیک در AWS

برای اتصال‌دهنده Spark اسنوفلیک در AWS، خواننده را با گزینه‌های پروکسی خود اتصال‌دهنده پیکربندی کنید:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options تنظیمات نقطه پایانی و احراز هویت برنامه را نگه می‌دارد. جدول یا پرس‌وجوی موردنظر را پیش از فراخوانی load اضافه کنید.

use_proxy به‌طور پیش‌فرض false است. وقتی فعال شود، proxy_host و proxy_port را به‌عنوان فیلدهای جداگانه لازم دارد. proxy_user و proxy_password یک حساب واسط فراهم می‌کنند. بدون احراز هویت پروکسی، مسیر مجاز پروکسی عمومی می‌تواند از نامزدهای میزبان و پورت فهرست پروکسی HTTP استفاده کند و در همان حال تنظیمات حساب اسنوفلیک را حفظ کند.

اسنوفلیک فیلدهای حساب، proxy_protocol و non_proxy_hosts را فقط مخصوص AWS مستند می‌کند. proxy_protocol در اتصال‌دهنده 2.11.1 اضافه شد و پیش‌فرض آن http است. non_proxy_hosts میزبان‌ها را با خط عمودی فرار‌داده‌شده در URL (%7C) جدا می‌کند و ستاره را به‌عنوان نویسه عام پشتیبانی می‌کند.

از اتصال‌دهنده‌ای استفاده کنید که با نسخه‌های Spark و Scala پروژه همخوانی دارد. این گزینه‌های منبع داده نام‌ها و قالب‌های خودشان را دارند؛ ویژگی‌های JDBC و اشیای java.net.Proxy ورودی‌های قابل‌تعویض نیستند.