Configurare un proxy per il connettore Spark di Snowflake su AWS

Configura le opzioni use_proxy, proxy_host e proxy_port del connettore Spark, con le restrizioni AWS documentate su protocollo, account e bypass.

Per il connettore Spark di Snowflake su AWS, configura il reader con le opzioni proxy proprie del connettore:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options contiene le impostazioni di endpoint e autenticazione dell'applicazione. Aggiungi la tabella o la query desiderata prima di chiamare load.

use_proxy è false per impostazione predefinita. Quando è abilitato, richiede proxy_host e proxy_port come campi separati. proxy_user e proxy_password forniscono un account intermedio. Senza autenticazione proxy, un percorso proxy pubblico consentito può usare candidati host e porta dalla lista di proxy HTTP mantenendo le impostazioni dell'account Snowflake.

Snowflake documenta i campi account, proxy_protocol e non_proxy_hosts come riservati ad AWS. proxy_protocol è stato aggiunto nel connettore 2.11.1 e per impostazione predefinita è http. non_proxy_hosts separa gli host con una barra verticale con escape URL (%7C) e supporta un asterisco come carattere jolly.

Usa un connettore corrispondente alle versioni di Spark e Scala del progetto. Queste opzioni di origine dati hanno nomi e formati propri; le proprietà JDBC e gli oggetti java.net.Proxy non sono input intercambiabili.

Articoli correlati