AWS 'ਤੇ Snowflake ਦੇ Spark ਕਨੈਕਟਰ ਲਈ ਪ੍ਰੌਕਸੀ ਕਨਫਿਗਰ ਕਰੋ

Spark ਕਨੈਕਟਰ ਦੇ use_proxy, proxy_host ਅਤੇ proxy_port ਵਿਕਲਪ ਕਨਫਿਗਰ ਕਰੋ, ਪ੍ਰੋਟੋਕੋਲ, ਖਾਤੇ ਅਤੇ ਬਾਈਪਾਸ ਸੈਟਿੰਗਾਂ 'ਤੇ AWS ਦੀਆਂ ਦਸਤਾਵੇਜ਼ੀ ਪਾਬੰਦੀਆਂ ਨਾਲ।

AWS 'ਤੇ Snowflake Spark ਕਨੈਕਟਰ ਲਈ, ਕਨੈਕਟਰ ਦੇ ਆਪਣੇ ਪ੍ਰੌਕਸੀ ਵਿਕਲਪਾਂ ਨਾਲ ਰੀਡਰ ਕਨਫਿਗਰ ਕਰੋ:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options ਐਪਲੀਕੇਸ਼ਨ ਦੇ ਐਂਡਪੌਇੰਟ ਅਤੇ ਪ੍ਰਮਾਣਿਕਤਾ ਸੈਟਿੰਗਾਂ ਰੱਖਦਾ ਹੈ। load ਕਾਲ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਲੋੜੀਂਦੀ ਟੇਬਲ ਜਾਂ ਕਿਊਰੀ ਸ਼ਾਮਲ ਕਰੋ।

use_proxy ਡਿਫ਼ਾਲਟ ਰੂਪ ਵਿੱਚ false ਹੈ। ਸਮਰੱਥ ਕਰਨ 'ਤੇ ਇਹ proxy_host ਅਤੇ proxy_port ਨੂੰ ਵੱਖਰੇ ਫ਼ੀਲਡ ਵਜੋਂ ਮੰਗਦਾ ਹੈ। proxy_user ਅਤੇ proxy_password ਵਿਚਕਾਰਲਾ ਖਾਤਾ ਦਿੰਦੇ ਹਨ। ਪ੍ਰੌਕਸੀ ਪ੍ਰਮਾਣਿਕਤਾ ਤੋਂ ਬਿਨਾਂ, ਮਨਜ਼ੂਰਸ਼ੁਦਾ ਜਨਤਕ-ਪ੍ਰੌਕਸੀ ਮਾਰਗ Snowflake ਦੀਆਂ ਖਾਤਾ ਸੈਟਿੰਗਾਂ ਬਰਕਰਾਰ ਰੱਖਦਿਆਂ HTTP ਪ੍ਰੌਕਸੀ ਸੂਚੀ ਤੋਂ ਹੋਸਟ ਅਤੇ ਪੋਰਟ ਉਮੀਦਵਾਰ ਵਰਤ ਸਕਦਾ ਹੈ।

Snowflake ਖਾਤਾ ਫ਼ੀਲਡਾਂ, proxy_protocol ਅਤੇ non_proxy_hosts ਨੂੰ ਸਿਰਫ਼ AWS ਲਈ ਦਸਤਾਵੇਜ਼ੀ ਕਰਦਾ ਹੈ। proxy_protocol ਕਨੈਕਟਰ 2.11.1 ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤਾ ਗਿਆ ਅਤੇ ਡਿਫ਼ਾਲਟ http ਹੈ। non_proxy_hosts URL-ਐਸਕੇਪ ਕੀਤੀ ਪਾਈਪ (%7C) ਨਾਲ ਹੋਸਟ ਵੱਖ ਕਰਦਾ ਹੈ ਅਤੇ ਐਸਟਰਿਸਕ ਵਾਈਲਡਕਾਰਡ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ।

ਪ੍ਰੋਜੈਕਟ ਦੇ Spark ਅਤੇ Scala ਸੰਸਕਰਣਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਕਨੈਕਟਰ ਵਰਤੋ। ਇਹਨਾਂ ਡੇਟਾ-ਸਰੋਤ ਵਿਕਲਪਾਂ ਦੇ ਆਪਣੇ ਨਾਮ ਅਤੇ ਫਾਰਮੈਟ ਹਨ; JDBC ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਤੇ java.net.Proxy ਆਬਜੈਕਟ ਬਦਲੇ ਜਾ ਸਕਣ ਵਾਲੇ ਇਨਪੁਟ ਨਹੀਂ ਹਨ।

ਸੰਬੰਧਿਤ ਲੇਖ