AWS ပေါ်ရှိ Snowflake ၏ Spark connector အတွက် proxy ကို ပြင်ဆင်ခြင်း

Spark connector ၏ use_proxy၊ proxy_host နှင့် proxy_port ရွေးချယ်စရာများကို AWS ၏ protocol၊ အကောင့်နှင့် bypass ဆက်တင်များဆိုင်ရာ မှတ်တမ်းတင်ထားသော ကန့်သတ်ချက်များနှင့်အတူ ပြင်ဆင်ပါ။

AWS ပေါ်ရှိ Snowflake Spark connector အတွက် connector ၏ ကိုယ်ပိုင် proxy ရွေးချယ်စရာများဖြင့် reader ကို ပြင်ဆင်ပါ။

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options သည် application ၏ endpoint နှင့် authentication ဆက်တင်များကို သိမ်းဆည်းထားသည်။ load မခေါ်မီ လိုချင်သော table သို့မဟုတ် query ကို ထည့်ပါ။

use_proxy သည် မူလအားဖြင့် false ဖြစ်သည်။ ဖွင့်ထားလျှင် proxy_host နှင့် proxy_port ကို သီးခြား field များအဖြစ် လိုအပ်သည်။ proxy_user နှင့် proxy_password သည် ကြားခံအကောင့်ကို ပေးသည်။ proxy authentication မပါဘဲ ခွင့်ပြုထားသော အများသူငှာ proxy လမ်းကြောင်းသည် Snowflake ၏ အကောင့်ဆက်တင်များကို ထိန်းသိမ်းထားစဉ် HTTP proxy စာရင်းမှ host နှင့် port ကိုယ်စားလှယ်လောင်းများကို အသုံးပြုနိုင်သည်။

Snowflake သည် အကောင့် field များ၊ proxy_protocol နှင့် non_proxy_hosts ကို AWS အတွက်သာ ဟု မှတ်တမ်းတင်ထားသည်။ proxy_protocol ကို connector 2.11.1 တွင် ထည့်သွင်းခဲ့ပြီး မူလအားဖြင့် http ဖြစ်သည်။ non_proxy_hosts သည် host များကို URL တွင် escape လုပ်ထားသော ဒေါင်လိုက်မျဉ်း (%7C) ဖြင့် ခွဲခြားပြီး ကြယ်ပွင့်ကို wildcard အဖြစ် ပံ့ပိုးသည်။

ပရောဂျက်၏ Spark နှင့် Scala ဗားရှင်းများနှင့် ကိုက်ညီသော connector ကို အသုံးပြုပါ။ ဤ data-source ရွေးချယ်စရာများတွင် ၎င်းတို့၏ ကိုယ်ပိုင်အမည်များနှင့် ပုံစံများ ရှိသည်။ JDBC properties နှင့် java.net.Proxy objects များသည် အလှည့်အပြောင်း ထည့်သွင်းမှုများ မဟုတ်ပါ။

ဆက်စပ်ဆောင်းပါးများ