Proxy beállítása a Snowflake Spark-összekötőjéhez AWS-en

Állítsa be a Spark-összekötő use_proxy, proxy_host és proxy_port opcióit, az AWS dokumentált protokoll-, fiók- és megkerülési korlátaival.

Az AWS-en futó Snowflake Spark-összekötőhöz az olvasót az összekötő saját proxybeállításaival konfigurálja:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

A snowflake_options az alkalmazás végpont- és hitelesítési beállításait tartalmazza. A load hívása előtt adja hozzá a kívánt táblát vagy lekérdezést.

A use_proxy alapértelmezésben false. Engedélyezve külön mezőként igényli a proxy_hostot és a proxy_portot. A proxy_user és a proxy_password köztes fiókot biztosít. Proxyhitelesítés nélkül egy engedélyezett nyilvános proxyútvonal hoszt- és portjelölteket használhat a HTTP-proxylistából, miközben megőrzi a Snowflake fiókbeállításait.

A Snowflake a fiókmezőket, a proxy_protocolt és a non_proxy_hostst csak AWS-re érvényesként dokumentálja. A proxy_protocol a 2.11.1-es összekötőben jelent meg, alapértéke http. A non_proxy_hosts URL-escape-elt függőleges vonallal (%7C) választja el a hosztokat, és csillag helyettesítő karaktert támogat.

A projekt Spark- és Scala-verziójához illő összekötőt használjon. Ezeknek az adatforrás-opcióknak saját nevük és formátumuk van; a JDBC-tulajdonságok és a java.net.Proxy objektumok nem felcserélhető bemenetek.

Kapcsolódó cikkek