Konfigurer en proxy for Snowflakes Spark-kontakt på AWS

Konfigurer Spark-kontaktens use_proxy-, proxy_host- og proxy_port-alternativer, med AWS' dokumenterte begrensninger for protokoll, konto og omgåelse.

For Snowflake Spark-kontakten på AWS konfigurerer du leseren med kontaktens egne proxyalternativer:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options inneholder applikasjonens endepunkts- og autentiseringsinnstillinger. Legg til tabellen eller spørringen du vil bruke, før du kaller load.

use_proxy er false som standard. Når det aktiveres, krever det proxy_host og proxy_port som separate felt. proxy_user og proxy_password gir en mellomliggende konto. Uten proxyautentisering kan en tillatt offentlig proxy-rute bruke verts- og portkandidater fra HTTP-proxylisten mens Snowflakes kontoinnstillinger beholdes.

Snowflake dokumenterer kontofeltene, proxy_protocol og non_proxy_hosts som kun for AWS. proxy_protocol ble lagt til i kontakt 2.11.1 og er som standard http. non_proxy_hosts skiller verter med en URL-escaped loddrett strek (%7C) og støtter stjernetegn som jokertegn.

Bruk en kontakt som samsvarer med prosjektets Spark- og Scala-versjoner. Disse datakildealternativene har egne navn og formater; JDBC-egenskaper og java.net.Proxy-objekter er ikke utskiftbare inndata.

Relaterte artikler