Proxy für Snowflakes Spark-Connector unter AWS konfigurieren

Konfigurieren Sie die Optionen use_proxy, proxy_host und proxy_port des Spark-Connectors – mit den dokumentierten AWS-Einschränkungen für Protokoll, Konto und Bypass.

Für den Snowflake-Spark-Connector unter AWS konfigurieren Sie den Reader mit den eigenen Proxy-Optionen des Connectors:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options enthält die Endpunkt- und Authentifizierungseinstellungen der Anwendung. Fügen Sie die gewünschte Tabelle oder Abfrage hinzu, bevor Sie load aufrufen.

use_proxy ist standardmäßig false. Wenn es aktiviert ist, erfordert es proxy_host und proxy_port als getrennte Felder. proxy_user und proxy_password stellen ein zwischengeschaltetes Konto bereit. Ohne Proxy-Authentifizierung kann eine zulässige Route über einen öffentlichen Proxy Host- und Portkandidaten aus der HTTP-Proxy-Liste verwenden und dabei die Kontoeinstellungen von Snowflake beibehalten.

Snowflake dokumentiert die Kontofelder, proxy_protocol und non_proxy_hosts als nur für AWS gültig. proxy_protocol wurde in Connector 2.11.1 eingeführt und ist standardmäßig http. non_proxy_hosts trennt Hosts durch einen URL-kodierten senkrechten Strich (%7C) und unterstützt einen Stern als Platzhalter.

Verwenden Sie einen Connector, der zu den Spark- und Scala-Versionen des Projekts passt. Diese Datenquellen-Optionen haben eigene Namen und Formate; JDBC-Eigenschaften und java.net.Proxy-Objekte sind keine austauschbaren Eingaben.

Ähnliche Artikel