تكوين وكيل لموصل Spark الخاص بـ Snowflake على AWS

كوّن خيارات use_proxy وproxy_host وproxy_port في موصل Spark، مع قيود AWS الموثقة على البروتوكول والحساب وإعدادات التجاوز.

بالنسبة إلى موصل Snowflake Spark على AWS، كوّن القارئ بخيارات الوكيل الخاصة بالموصل:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

يحتفظ snowflake_options بإعدادات نقطة النهاية والمصادقة الخاصة بالتطبيق. أضف الجدول أو الاستعلام المقصود قبل استدعاء load.

القيمة الافتراضية لـ use_proxy هي false. وعند تفعيله يتطلب proxy_host وproxy_port كحقلين منفصلين. ويوفر proxy_user وproxy_password حسابًا وسيطًا. ومن دون مصادقة الوكيل، يمكن لمسار وكيل عام مسموح به استخدام مرشحي المضيف والمنفذ من قائمة وكلاء HTTP مع الإبقاء على إعدادات حساب Snowflake.

توثق Snowflake حقول الحساب وproxy_protocol وnon_proxy_hosts على أنها خاصة بـ AWS فقط. أُضيف proxy_protocol في الموصل 2.11.1 وقيمته الافتراضية http. ويفصل non_proxy_hosts بين المضيفين بأنبوب مُهرَّب في URL (%7C) ويدعم علامة النجمة.

استخدم موصلًا يطابق إصدارات Spark وScala في المشروع. لهذه الخيارات الخاصة بمصدر البيانات أسماؤها وصيغها؛ وخصائص JDBC وكائنات java.net.Proxy ليست مدخلات قابلة للتبادل.

مقالات ذات صلة