Set opp ein proxy for Spark-kontakten til Snowflake på AWS

Set opp use_proxy, proxy_host og proxy_port for Spark-kontakten, med dei dokumenterte AWS-avgrensingane for protokoll, konto og omgåing.

For Snowflake Spark-kontakten på AWS set du opp lesaren med kontakten sine eigne proxyval:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options held endepunkt- og autentiseringsinnstillingane til applikasjonen. Legg til tabellen eller spørjinga du vil bruke, før du kallar load.

use_proxy er false som standard. Når det er slått på, krev det proxy_host og proxy_port som separate felt. proxy_user og proxy_password gjev ein mellomliggjande konto. Utan proxyautentisering kan ein tillaten offentleg proxy-rute bruke verts- og portkandidatar frå HTTP-proxylista medan kontoinnstillingane til Snowflake blir haldne.

Snowflake dokumenterer kontofelta, proxy_protocol og non_proxy_hosts som berre for AWS. proxy_protocol vart lagt til i kontakt 2.11.1 og er som standard http. non_proxy_hosts skil vertar med ein URL-escapa loddrett strek (%7C) og støttar stjerneteikn som jokerteikn.

Bruk ein kontakt som passar til Spark- og Scala-versjonane i prosjektet. Desse datakjeldevala har eigne namn og format; JDBC-eigenskapar og java.net.Proxy-objekt er ikkje utbytbarel inndata.

Relaterte artiklar