Een proxy configureren voor de Spark-connector van Snowflake op AWS

Configureer de opties use_proxy, proxy_host en proxy_port van de Spark-connector, met de gedocumenteerde AWS-beperkingen voor protocol, account en bypass.

Voor de Snowflake Spark-connector op AWS configureert u de reader met de eigen proxyopties van de connector:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options bevat de endpoint- en authenticatie-instellingen van de applicatie. Voeg de gewenste tabel of query toe voordat u load aanroept.

use_proxy is standaard false. Wanneer het is ingeschakeld, vereist het proxy_host en proxy_port als afzonderlijke velden. proxy_user en proxy_password bieden een tussenliggend account. Zonder proxy-authenticatie kan een toegestane openbare proxyroute host- en poortkandidaten uit de HTTP-proxylijst gebruiken terwijl de accountinstellingen van Snowflake behouden blijven.

Snowflake documenteert de accountvelden, proxy_protocol en non_proxy_hosts als alleen voor AWS. proxy_protocol is toegevoegd in connector 2.11.1 en is standaard http. non_proxy_hosts scheidt hosts met een URL-escaped verticale streep (%7C) en ondersteunt een asterisk als jokerteken.

Gebruik een connector die past bij de Spark- en Scala-versies van het project. Deze gegevensbronopties hebben hun eigen namen en formaten; JDBC-eigenschappen en java.net.Proxy-objecten zijn geen uitwisselbare invoer.

Gerelateerde artikelen