Настройка прокси для Spark-коннектора Snowflake в AWS

Настройте параметры use_proxy, proxy_host и proxy_port коннектора Spark с учетом документированных ограничений AWS по протоколу, учетной записи и обходу.

Для Spark-коннектора Snowflake в AWS настройте средство чтения собственными параметрами прокси коннектора:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options хранит настройки конечной точки и аутентификации приложения. Добавьте нужную таблицу или запрос перед вызовом load.

use_proxy по умолчанию равно false. При включении оно требует proxy_host и proxy_port как отдельные поля. proxy_user и proxy_password задают промежуточную учетную запись. Без аутентификации прокси разрешенный маршрут через публичный прокси может использовать кандидаты хоста и порта из списка HTTP-прокси, сохраняя настройки учетной записи Snowflake.

Snowflake документирует поля учетной записи, proxy_protocol и non_proxy_hosts как предназначенные только для AWS. proxy_protocol добавлен в коннектор 2.11.1 и по умолчанию равен http. non_proxy_hosts разделяет хосты экранированной в URL вертикальной чертой (%7C) и поддерживает звездочку как подстановочный знак.

Используйте коннектор, соответствующий версиям Spark и Scala проекта. У этих параметров источника данных свои имена и форматы; свойства JDBC и объекты java.net.Proxy не являются взаимозаменяемыми входными данными.

Похожие статьи