Konfigurer en proxy til Snowflakes Spark-connector på AWS

Konfigurer Spark-connectorens use_proxy-, proxy_host- og proxy_port-indstillinger med AWS' dokumenterede begrænsninger for protokol, konto og omgåelse.

Til Snowflake Spark-connector på AWS konfigurerer du læseren med connector'ens egne proxyindstillinger:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options indeholder applikationens endpoint- og godkendelsesindstillinger. Tilføj den ønskede tabel eller forespørgsel, før du kalder load.

use_proxy er som standard false. Når det aktiveres, kræver det proxy_host og proxy_port som separate felter. proxy_user og proxy_password giver en mellemliggende konto. Uden proxygodkendelse kan en tilladt offentlig proxy-rute bruge værts- og portkandidater fra HTTP-proxylisten, mens Snowflakes kontoindstillinger bevares.

Snowflake dokumenterer kontofelterne, proxy_protocol og non_proxy_hosts som kun for AWS. proxy_protocol blev tilføjet i connector 2.11.1 og er som standard http. non_proxy_hosts adskiller værter med en URL-escaped lodret streg (%7C) og understøtter et stjernetegn som jokertegn.

Brug en connector, der matcher projektets Spark- og Scala-versioner. Disse datakildeindstillinger har deres egne navne og formater; JDBC-egenskaber og java.net.Proxy-objekter er ikke udskiftelige input.

Relaterede artikler