AWS पर Snowflake के Spark कनेक्टर के लिए प्रॉक्सी कॉन्फ़िगर करें

Spark कनेक्टर के use_proxy, proxy_host और proxy_port विकल्प कॉन्फ़िगर करें, प्रोटोकॉल, खाते और बायपास सेटिंग पर AWS के प्रलेखित प्रतिबंधों के साथ।

AWS पर Snowflake Spark कनेक्टर के लिए, कनेक्टर के अपने प्रॉक्सी विकल्पों के साथ रीडर कॉन्फ़िगर करें:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options एप्लिकेशन के एंडपॉइंट और प्रमाणीकरण सेटिंग रखता है। load कॉल करने से पहले इच्छित तालिका या क्वेरी जोड़ें।

use_proxy डिफ़ॉल्ट रूप से false है। सक्षम करने पर यह proxy_host और proxy_port को अलग फ़ील्ड के रूप में चाहता है। proxy_user और proxy_password एक मध्यस्थ खाता प्रदान करते हैं। प्रॉक्सी प्रमाणीकरण के बिना, अनुमत सार्वजनिक-प्रॉक्सी मार्ग HTTP प्रॉक्सी सूची से होस्ट और पोर्ट उम्मीदवारों का उपयोग कर सकता है, जबकि Snowflake की खाता सेटिंग बनी रहती है।

Snowflake खाता फ़ील्ड, proxy_protocol और non_proxy_hosts को केवल AWS के लिए प्रलेखित करता है। proxy_protocol को कनेक्टर 2.11.1 में जोड़ा गया और यह डिफ़ॉल्ट रूप से http है। non_proxy_hosts URL-एस्केप्ड पाइप (%7C) से होस्ट अलग करता है और एस्टरिस्क वाइल्डकार्ड का समर्थन करता है।

प्रोजेक्ट के Spark और Scala संस्करणों से मेल खाता कनेक्टर उपयोग करें। इन डेटा-स्रोत विकल्पों के अपने नाम और प्रारूप हैं; JDBC प्रॉपर्टी और java.net.Proxy ऑब्जेक्ट विनिमेय इनपुट नहीं हैं।

संबंधित लेख