Конфигуриране на прокси за Spark конектора на Snowflake в AWS

Конфигурирайте опциите use_proxy, proxy_host и proxy_port на Spark конектора, с документираните ограничения на AWS за протокол, акаунт и обхождане.

За Spark конектора на Snowflake в AWS конфигурирайте четеца със собствените прокси опции на конектора:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options съдържа настройките за крайна точка и удостоверяване на приложението. Добавете желаната таблица или заявка преди извикване на load.

use_proxy е false по подразбиране. Когато е включен, изисква proxy_host и proxy_port като отделни полета. proxy_user и proxy_password предоставят междинен акаунт. Без прокси удостоверяване разрешен маршрут през публичен прокси може да използва кандидати за хост и порт от списъка с HTTP прокси, като запазва настройките на акаунта в Snowflake.

Snowflake документира полетата на акаунта, proxy_protocol и non_proxy_hosts като само за AWS. proxy_protocol е добавен в конектор 2.11.1 и по подразбиране е http. non_proxy_hosts разделя хостовете с екранирана в URL вертикална черта (%7C) и поддържа звезда като заместващ знак.

Използвайте конектор, съответстващ на версиите на Spark и Scala в проекта. Тези опции за източник на данни имат свои имена и формати; JDBC свойствата и обектите java.net.Proxy не са взаимозаменяеми входни данни.

Подобни статии