Конфигурисање проксија за Snowflake-ов Spark конектор на AWS-у

Конфигуришите опције use_proxy, proxy_host и proxy_port Spark конектора, уз документована AWS ограничења за протокол, налог и заобилажење.

За Snowflake-ов Spark конектор на AWS-у конфигуришите читач сопственим прокси опцијама конектора:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options чува поставке крајње тачке и аутентификације апликације. Додајте жељену табелу или упит пре позива load.

use_proxy је подразумевано false. Када се омогући, захтева proxy_host и proxy_port као одвојена поља. proxy_user и proxy_password дају посреднички налог. Без прокси аутентификације, дозвољена рута преко јавног проксија може користити кандидате за хост и порт са листе HTTP проксија, задржавајући поставке Snowflake налога.

Snowflake документује поља налога, proxy_protocol и non_proxy_hosts као само за AWS. proxy_protocol је додат у конектор 2.11.1 и подразумевано је http. non_proxy_hosts раздваја хостове URL-ом кодираном усправном цртом (%7C) и подржава звездицу као џокер.

Користите конектор који одговара верзијама Spark-а и Scale у пројекту. Ове опције извора података имају сопствена имена и формате; JDBC својства и објекти java.net.Proxy нису заменљиви улази.

Повезани чланци