AWS-এ Snowflake-এর Spark কানেক্টরের জন্য প্রক্সি কনফিগার করুন

Spark কানেক্টরের use_proxy, proxy_host ও proxy_port বিকল্প কনফিগার করুন, প্রোটোকল, অ্যাকাউন্ট ও বাইপাস সেটিংসে AWS-এর নথিভুক্ত নিষেধাজ্ঞাসহ।

AWS-এ Snowflake Spark কানেক্টরের জন্য কানেক্টরের নিজস্ব প্রক্সি বিকল্প দিয়ে রিডার কনফিগার করুন:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options অ্যাপ্লিকেশনের এন্ডপয়েন্ট ও প্রমাণীকরণ সেটিংস ধরে রাখে। load কল করার আগে নির্দিষ্ট টেবিল বা কোয়েরি যোগ করুন।

use_proxy ডিফল্টভাবে false। চালু করলে এটি proxy_host ও proxy_port আলাদা ফিল্ড হিসেবে দাবি করে। proxy_user ও proxy_password একটি মধ্যবর্তী অ্যাকাউন্ট দেয়। প্রক্সি প্রমাণীকরণ ছাড়া, অনুমোদিত পাবলিক-প্রক্সি পথ HTTP প্রক্সি তালিকা থেকে হোস্ট ও পোর্ট প্রার্থী ব্যবহার করতে পারে, Snowflake-এর অ্যাকাউন্ট সেটিংস অক্ষুণ্ণ রেখে।

Snowflake অ্যাকাউন্ট ফিল্ড, proxy_protocol ও non_proxy_hosts-কে শুধু AWS-এর জন্য বলে নথিভুক্ত করে। proxy_protocol কানেক্টর 2.11.1-এ যোগ হয়েছে এবং ডিফল্ট http। non_proxy_hosts URL-এস্কেপ করা পাইপ (%7C) দিয়ে হোস্ট আলাদা করে এবং অ্যাস্টেরিস্ক ওয়াইল্ডকার্ড সমর্থন করে।

প্রকল্পের Spark ও Scala সংস্করণের সঙ্গে মেলে এমন কানেক্টর ব্যবহার করুন। এই ডেটা-সোর্স বিকল্পগুলোর নিজস্ব নাম ও বিন্যাস আছে; JDBC প্রপার্টি ও java.net.Proxy অবজেক্ট বিনিময়যোগ্য ইনপুট নয়।

সম্পর্কিত নিবন্ধ