AWS ରେ Snowflake ର Spark କନେକ୍ଟର ପାଇଁ ପ୍ରକ୍ସି କନଫିଗର କରନ୍ତୁ

Spark କନେକ୍ଟରର use_proxy, proxy_host ଏବଂ proxy_port ବିକଳ୍ପଗୁଡ଼ିକୁ ପ୍ରୋଟୋକଲ, ଖାତା ଏବଂ ବାଇପାସ୍ ସେଟିଂ ଉପରେ AWS ର ଡକ୍ୟୁମେଣ୍ଟେଡ୍ ପ୍ରତିବନ୍ଧକ ସହିତ କନଫିଗର କରନ୍ତୁ।

AWS ରେ Snowflake Spark କନେକ୍ଟର ପାଇଁ, କନେକ୍ଟରର ନିଜସ୍ୱ ପ୍ରକ୍ସି ବିକଳ୍ପ ସହିତ ରିଡର କନଫିଗର କରନ୍ତୁ:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options ଆପ୍ଲିକେସନର ଏଣ୍ଡପଏଣ୍ଟ ଏବଂ ପ୍ରମାଣୀକରଣ ସେଟିଂ ରଖେ। load କଲ କରିବା ପୂର୍ବରୁ ଇଚ୍ଛିତ ଟେବୁଲ କିମ୍ବା କ୍ୱେରୀ ଯୋଡ଼ନ୍ତୁ।

use_proxy ଡିଫଲ୍ଟ ଭାବରେ false। ସକ୍ଷମ କଲେ ଏହା proxy_host ଏବଂ proxy_port କୁ ଅଲଗା ଫିଲ୍ଡ ଭାବରେ ଆବଶ୍ୟକ କରେ। proxy_user ଏବଂ proxy_password ଏକ ମଧ୍ୟସ୍ଥ ଖାତା ପ୍ରଦାନ କରେ। ପ୍ରକ୍ସି ପ୍ରମାଣୀକରଣ ବିନା, ଅନୁମତିପ୍ରାପ୍ତ ସାର୍ବଜନୀନ-ପ୍ରକ୍ସି ମାର୍ଗ HTTP ପ୍ରକ୍ସି ତାଲିକାରୁ ହୋଷ୍ଟ ଏବଂ ପୋର୍ଟ ପ୍ରାର୍ଥୀ ବ୍ୟବହାର କରିପାରେ ଏବଂ Snowflake ର ଖାତା ସେଟିଂ ବଜାୟ ରଖେ।

Snowflake ଖାତା ଫିଲ୍ଡ, proxy_protocol ଏବଂ non_proxy_hosts କୁ କେବଳ AWS ପାଇଁ ବୋଲି ଡକ୍ୟୁମେଣ୍ଟ କରେ। proxy_protocol କନେକ୍ଟର 2.11.1 ରେ ଯୋଡ଼ା ଯାଇଛି ଏବଂ ଡିଫଲ୍ଟ http। non_proxy_hosts URL-ଏସ୍କେପ୍ କରାଯାଇଥିବା ପାଇପ୍ (%7C) ସହିତ ହୋଷ୍ଟଗୁଡ଼ିକୁ ଅଲଗା କରେ ଏବଂ ଆଷ୍ଟେରିସ୍କ ୱାଇଲ୍ଡକାର୍ଡକୁ ସମର୍ଥନ କରେ।

ପ୍ରୋଜେକ୍ଟର Spark ଏବଂ Scala ସଂସ୍କରଣ ସହିତ ମେଳ ଖାଉଥିବା କନେକ୍ଟର ବ୍ୟବହାର କରନ୍ତୁ। ଏହି ଡାଟା-ସ୍ରୋତ ବିକଳ୍ପଗୁଡ଼ିକର ନିଜସ୍ୱ ନାମ ଏବଂ ଫର୍ମାଟ ଅଛି; JDBC ପ୍ରପର୍ଟି ଏବଂ java.net.Proxy ବସ୍ତୁଗୁଡ଼ିକ ଅଦଳବଦଳ ଯୋଗ୍ୟ ଇନପୁଟ୍ ନୁହେଁ।

ସମ୍ପର୍କିତ ପ୍ରବନ୍ଧ