AWS ನಲ್ಲಿ Snowflake ನ Spark ಕನೆಕ್ಟರ್‌ಗಾಗಿ ಪ್ರಾಕ್ಸಿ ಕಾನ್ಫಿಗರ್ ಮಾಡಿ

Spark ಕನೆಕ್ಟರ್‌ನ use_proxy, proxy_host ಮತ್ತು proxy_port ಆಯ್ಕೆಗಳನ್ನು ಪ್ರೋಟೋಕಾಲ್, ಖಾತೆ ಮತ್ತು ಬೈಪಾಸ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳ ಮೇಲಿನ ದಾಖಲಿತ AWS ನಿರ್ಬಂಧಗಳೊಂದಿಗೆ ಕಾನ್ಫಿಗರ್ ಮಾಡಿ.

AWS ನಲ್ಲಿ Snowflake Spark ಕನೆಕ್ಟರ್‌ಗಾಗಿ, ಕನೆಕ್ಟರ್‌ನ ಸ್ವಂತ ಪ್ರಾಕ್ಸಿ ಆಯ್ಕೆಗಳಿಂದ ರೀಡರ್ ಅನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಿ:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options ಅಪ್ಲಿಕೇಶನ್‌ನ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಮತ್ತು ದೃಢೀಕರಣ ಸೆಟ್ಟಿಂಗ್‌ಗಳನ್ನು ಹಿಡಿದಿಡುತ್ತದೆ. load ಕರೆಯುವ ಮೊದಲು ಬಯಸಿದ ಕೋಷ್ಟಕ ಅಥವಾ ಪ್ರಶ್ನೆಯನ್ನು ಸೇರಿಸಿ.

use_proxy ಡಿಫಾಲ್ಟ್ ಆಗಿ false. ಸಕ್ರಿಯಗೊಳಿಸಿದಾಗ ಅದು proxy_host ಮತ್ತು proxy_port ಅನ್ನು ಪ್ರತ್ಯೇಕ ಕ್ಷೇತ್ರಗಳಾಗಿ ಬಯಸುತ್ತದೆ. proxy_user ಮತ್ತು proxy_password ಮಧ್ಯವರ್ತಿ ಖಾತೆಯನ್ನು ಒದಗಿಸುತ್ತವೆ. ಪ್ರಾಕ್ಸಿ ದೃಢೀಕರಣವಿಲ್ಲದೆ, ಅನುಮತಿಸಲಾದ ಸಾರ್ವಜನಿಕ-ಪ್ರಾಕ್ಸಿ ಮಾರ್ಗವು HTTP ಪ್ರಾಕ್ಸಿ ಪಟ್ಟಿಯಿಂದ ಹೋಸ್ಟ್ ಮತ್ತು ಪೋರ್ಟ್ ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಬಳಸಬಹುದು, Snowflake ನ ಖಾತೆ ಸೆಟ್ಟಿಂಗ್‌ಗಳನ್ನು ಉಳಿಸಿಕೊಂಡು.

Snowflake ಖಾತೆ ಕ್ಷೇತ್ರಗಳು, proxy_protocol ಮತ್ತು non_proxy_hosts ಅನ್ನು AWS ಗೆ ಮಾತ್ರ ಎಂದು ದಾಖಲಿಸುತ್ತದೆ. proxy_protocol ಅನ್ನು 2.11.1 ಕನೆಕ್ಟರ್‌ನಲ್ಲಿ ಸೇರಿಸಲಾಗಿದೆ ಮತ್ತು ಡಿಫಾಲ್ಟ್ http. non_proxy_hosts URL-ಎಸ್ಕೇಪ್ ಮಾಡಿದ ಲಂಬ ರೇಖೆಯಿಂದ (%7C) ಹೋಸ್ಟ್‌ಗಳನ್ನು ಬೇರ್ಪಡಿಸುತ್ತದೆ ಮತ್ತು ಆಸ್ಟರಿಸ್ಕ್ ವೈಲ್ಡ್‌ಕಾರ್ಡ್ ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.

ಯೋಜನೆಯ Spark ಮತ್ತು Scala ಆವೃತ್ತಿಗಳಿಗೆ ಹೊಂದುವ ಕನೆಕ್ಟರ್ ಬಳಸಿ. ಈ ಡೇಟಾ-ಮೂಲ ಆಯ್ಕೆಗಳಿಗೆ ತಮ್ಮದೇ ಹೆಸರುಗಳು ಮತ್ತು ಸ್ವರೂಪಗಳಿವೆ; JDBC ಗುಣಲಕ್ಷಣಗಳು ಮತ್ತು java.net.Proxy ವಸ್ತುಗಳು ಪರಸ್ಪರ ಬದಲಾಯಿಸಬಹುದಾದ ಇನ್‌ಪುಟ್‌ಗಳಲ್ಲ.

ಸಂಬಂಧಿತ ಲೇಖನಗಳು