Konfigurisanje proxyja za Snowflake Spark konektor na AWS-u

Konfigurirajte opcije use_proxy, proxy_host i proxy_port Spark konektora, uz dokumentirana AWS ograničenja za protokol, račun i zaobilaženje.

Za Snowflake Spark konektor na AWS-u konfigurirajte čitač vlastitim proxy opcijama konektora:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options čuva postavke krajnje točke i autentifikacije aplikacije. Dodajte željenu tablicu ili upit prije poziva load.

use_proxy je prema zadanim postavkama false. Kada je omogućen, zahtijeva proxy_host i proxy_port kao zasebna polja. proxy_user i proxy_password pružaju posrednički račun. Bez proxy autentifikacije, dopuštena ruta preko javnog proxyja može koristiti kandidate za host i port s popisa HTTP proxyja, zadržavajući postavke Snowflake računa.

Snowflake dokumentira polja računa, proxy_protocol i non_proxy_hosts kao samo za AWS. proxy_protocol je dodan u konektor 2.11.1 i prema zadanim postavkama je http. non_proxy_hosts razdvaja hostove URL-om kodiranom vertikalnom crtom (%7C) i podržava zvjezdicu kao zamjenski znak.

Koristite konektor koji odgovara verzijama Sparka i Scale u projektu. Ove opcije izvora podataka imaju vlastita imena i formate; JDBC svojstva i objekti java.net.Proxy nisu zamjenjivi ulazi.

Povezani članci