Konfigurera en proxy för Snowflakes Spark-connector på AWS

Konfigurera Spark-connectorns use_proxy-, proxy_host- och proxy_port-alternativ, med AWS dokumenterade begränsningar för protokoll, konto och kringgående.

För Snowflake Spark-connector på AWS konfigurerar du läsaren med connectorns egna proxyalternativ:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options innehåller programmets slutpunkts- och autentiseringsinställningar. Lägg till tabellen eller frågan du vill använda innan du anropar load.

use_proxy är false som standard. När det aktiveras kräver det proxy_host och proxy_port som separata fält. proxy_user och proxy_password ger ett mellanliggande konto. Utan proxyautentisering kan en tillåten offentlig proxyväg använda värd- och portkandidater från HTTP-proxylistan medan Snowflakes kontoinställningar behålls.

Snowflake dokumenterar kontofälten, proxy_protocol och non_proxy_hosts som endast för AWS. proxy_protocol lades till i connector 2.11.1 och är som standard http. non_proxy_hosts separerar värdar med ett URL-escapad vertikalt streck (%7C) och stöder en asterisk som jokertecken.

Använd en connector som matchar projektets Spark- och Scala-versioner. Dessa datakällalternativ har egna namn och format; JDBC-egenskaper och java.net.Proxy-objekt är inte utbytbara indata.

Relaterade artiklar