AWS හි Snowflake හි Spark සම්බන්ධකය සඳහා ප්‍රොක්සි වින්‍යාස කරන්න

Spark සම්බන්ධකයේ use_proxy, proxy_host සහ proxy_port විකල්ප වින්‍යාස කරන්න, ප්‍රොටෝකෝලය, ගිණුම සහ බයිපාස් සැකසුම් පිළිබඳ AWS හි ලේඛනගත සීමා සමඟ.

AWS හි Snowflake Spark සම්බන්ධකය සඳහා, සම්බන්ධකයේම ප්‍රොක්සි විකල්ප සමඟ පාඨකය වින්‍යාස කරන්න:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options යෙදුමේ අන්ත ලක්ෂ්‍යය සහ සත්‍යාපන සැකසුම් රඳවා ගනී. load ඇමතීමට පෙර අපේක්ෂිත වගුව හෝ විමසුම එක් කරන්න.

use_proxy පෙරනිමියෙන් false වේ. සක්‍රීය කළ විට එය proxy_host සහ proxy_port වෙන වෙනම ක්ෂේත්‍ර ලෙස අවශ්‍ය කරයි. proxy_user සහ proxy_password අතරමැදි ගිණුමක් සපයයි. ප්‍රොක්සි සත්‍යාපනයකින් තොරව, අවසර ලත් පොදු-ප්‍රොක්සි මාර්ගයකට Snowflake හි ගිණුම් සැකසුම් රඳවා ගනිමින් HTTP ප්‍රොක්සි ලැයිස්තුවවෙන් සත්කාරක සහ තොටුපොළ අපේක්ෂකයන් භාවිත කළ හැක.

Snowflake ගිණුම් ක්ෂේත්‍ර, proxy_protocol සහ non_proxy_hosts AWS සඳහා පමණක් ලෙස ලේඛනගත කරයි. proxy_protocol සම්බන්ධක 2.11.1 හි එක් කර ඇති අතර පෙරනිමිය http වේ. non_proxy_hosts URL-එස්කේප් කළ සිරස් ඉරි (%7C) මගින් සත්කාරක වෙන් කරන අතර තරු ලකුණ වයිල්ඩ්කාඩ් ලෙස ආධාර කරයි.

ව්‍යාපෘතියේ Spark සහ Scala අනුවාදවලට ගැළපෙන සම්බන්ධකයක් භාවිත කරන්න. මෙම දත්ත මූලාශ්‍ර විකල්පවලට තමන්ගේම නම් සහ ආකෘති ඇත; JDBC ගුණාංග සහ java.net.Proxy වස්තු හුවමාරු කළ හැකි ආදාන නොවේ.

අදාළ ලිපි