AWS-ൽ Snowflake-ന്റെ Spark കണക്ടറിനായി പ്രോക്സി കോൺഫിഗർ ചെയ്യുക

പ്രോട്ടോക്കോൾ, അക്കൗണ്ട്, ബൈപ്പാസ് ക്രമീകരണങ്ങളിലെ AWS-ന്റെ രേഖപ്പെടുത്തിയ നിയന്ത്രണങ്ങളോടെ Spark കണക്ടറിന്റെ use_proxy, proxy_host, proxy_port ഓപ്ഷനുകൾ കോൺഫിഗർ ചെയ്യുക.

AWS-ൽ Snowflake Spark കണക്ടറിനായി, കണക്ടറിന്റെ സ്വന്തം പ്രോക്സി ഓപ്ഷനുകൾ ഉപയോഗിച്ച് റീഡർ കോൺഫിഗർ ചെയ്യുക:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options ആപ്ലിക്കേഷന്റെ എൻഡ്പോയിന്റ്, പ്രാമാണീകരണ ക്രമീകരണങ്ങൾ സൂക്ഷിക്കുന്നു. load വിളിക്കുന്നതിന് മുമ്പ് ആവശ്യമായ ടേബിളോ ക്വറിയോ ചേർക്കുക.

use_proxy സ്വതവേ false ആണ്. പ്രവർത്തനക്ഷമമാക്കുമ്പോൾ proxy_host, proxy_port എന്നിവ വേറിട്ട ഫീൽഡുകളായി ആവശ്യപ്പെടുന്നു. proxy_user, proxy_password എന്നിവ ഇടനില അക്കൗണ്ട് നൽകുന്നു. പ്രോക്സി പ്രാമാണീകരണമില്ലാതെ, അനുവദനീയമായ പൊതു-പ്രോക്സി പാതയ്ക്ക് Snowflake-ന്റെ അക്കൗണ്ട് ക്രമീകരണങ്ങൾ നിലനിർത്തിക്കൊണ്ട് HTTP പ്രോക്സി പട്ടികയിൽ നിന്ന് ഹോസ്റ്റ്, പോർട്ട് സ്ഥാനാർത്ഥികൾ ഉപയോഗിക്കാം.

അക്കൗണ്ട് ഫീൽഡുകൾ, proxy_protocol, non_proxy_hosts എന്നിവ AWS-ന് മാത്രമുള്ളതായി Snowflake രേഖപ്പെടുത്തുന്നു. proxy_protocol കണക്ടർ 2.11.1-ൽ ചേർത്തു, സ്വതവേ http ആണ്. non_proxy_hosts URL-ൽ എസ്കേപ്പ് ചെയ്ത ലംബരേഖ (%7C) ഉപയോഗിച്ച് ഹോസ്റ്റുകൾ വേർതിരിക്കുന്നു, ആസ്റ്ററിസ്ക് വൈൽഡ്കാർഡ് പിന്തുണയ്ക്കുന്നു.

പ്രോജക്ടിന്റെ Spark, Scala പതിപ്പുകളുമായി പൊരുത്തപ്പെടുന്ന കണക്ടർ ഉപയോഗിക്കുക. ഈ ഡാറ്റാ-സ്രോതസ്സ് ഓപ്ഷനുകൾക്ക് സ്വന്തം പേരുകളും ഫോർമാറ്റുകളുമുണ്ട്; JDBC പ്രോപ്പർട്ടികളും java.net.Proxy ഒബ്ജക്റ്റുകളും പരസ്പരം മാറ്റാവുന്ന ഇൻപുട്ടുകളല്ല.

അനുബന്ധ ലേഖനങ്ങൾ