Konfiguriranje proxyja za Snowflakeov Spark konektor na AWS-u

Konfigurirajte opcije use_proxy, proxy_host i proxy_port Spark konektora, uz dokumentirana AWS ograničenja za protokol, račun i zaobilaženje.

Za Snowflakeov Spark konektor na AWS-u konfigurirajte čitač vlastitim proxy opcijama konektora:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options sadrži postavke krajnje točke i autentifikacije aplikacije. Dodajte željenu tablicu ili upit prije poziva load.

use_proxy prema zadanim je postavkama false. Kada se omogući, zahtijeva proxy_host i proxy_port kao zasebna polja. proxy_user i proxy_password daju posrednički račun. Bez proxy autentifikacije, dopuštena ruta preko javnog proxyja može rabiti kandidate za host i port s popisa HTTP proxyja, zadržavajući postavke Snowflakeova računa.

Snowflake dokumentira polja računa, proxy_protocol i non_proxy_hosts kao samo za AWS. proxy_protocol dodan je u konektor 2.11.1 i prema zadanim je postavkama http. non_proxy_hosts razdvaja hostove URL-om kodiranom okomitom crtom (%7C) i podržava zvjezdicu kao zamjenski znak.

Rabite konektor koji odgovara verzijama Sparka i Scale u projektu. Ove opcije izvora podataka imaju vlastita imena i formate; JDBC svojstva i objekti java.net.Proxy nisu zamjenjivi ulazi.

Povezani članci