AWS இல் Snowflake இன் Spark connector க்கான proxy ஐ உள்ளமைக்கவும்

Spark connector இன் use_proxy, proxy_host மற்றும் proxy_port விருப்பங்களை, protocol, கணக்கு மற்றும் bypass அமைப்புகள் மீதான AWS இன் ஆவணப்படுத்தப்பட்ட கட்டுப்பாடுகளுடன் உள்ளமைக்கவும்.

AWS இல் Snowflake Spark connector க்கு, connector இன் சொந்த proxy விருப்பங்களுடன் reader ஐ உள்ளமைக்கவும்:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options பயன்பாட்டின் endpoint மற்றும் அங்கீகார அமைப்புகளை வைத்திருக்கிறது. load ஐ அழைப்பதற்கு முன் விரும்பிய அட்டவணை அல்லது query ஐச் சேர்க்கவும்.

use_proxy இயல்பாக false. இயக்கப்பட்டால், proxy_host மற்றும் proxy_port ஐ தனித்தனி புலங்களாகக் கோருகிறது. proxy_user மற்றும் proxy_password ஒரு இடைநிலைக் கணக்கை வழங்குகின்றன. proxy அங்கீகாரம் இல்லாமல், அனுமதிக்கப்பட்ட பொது-proxy பாதை Snowflake இன் கணக்கு அமைப்புகளைத் தக்கவைத்துக்கொண்டு HTTP proxy பட்டியல்இலிருந்து host மற்றும் port வேட்பாளர்களைப் பயன்படுத்தலாம்.

Snowflake கணக்கு புலங்கள், proxy_protocol மற்றும் non_proxy_hosts ஆகியவற்றை AWS க்கு மட்டும் என்று ஆவணப்படுத்துகிறது. proxy_protocol connector 2.11.1 இல் சேர்க்கப்பட்டது, இயல்பாக http. non_proxy_hosts URL இல் escape செய்யப்பட்ட செங்குத்துக் கோட்டால் (%7C) host களைப் பிரிக்கிறது, நட்சத்திரத்தை wildcard ஆக ஆதரிக்கிறது.

திட்டத்தின் Spark மற்றும் Scala பதிப்புகளுடன் பொருந்தும் connector ஐப் பயன்படுத்தவும். இந்த data-source விருப்பங்களுக்கு அவற்றின் சொந்த பெயர்களும் வடிவங்களும் உள்ளன; JDBC பண்புகளும் java.net.Proxy பொருள்களும் பரிமாறிக்கொள்ளக்கூடிய உள்ளீடுகள் அல்ல.

தொடர்புடைய கட்டுரைகள்