Konfigurisanje proxyja za Snowflakeov Spark konektor na AWS-u

Konfigurišite opcije use_proxy, proxy_host i proxy_port Spark konektora, uz dokumentovana AWS ograničenja za protokol, nalog i zaobilaženje.

Za Snowflakeov Spark konektor na AWS-u konfigurišite čitač sopstvenim proxy opcijama konektora:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options čuva postavke krajnje tačke i autentifikacije aplikacije. Dodajte željenu tabelu ili upit pre poziva load.

use_proxy je podrazumevano false. Kada se omogući, zahteva proxy_host i proxy_port kao odvojena polja. proxy_user i proxy_password daju posrednički nalog. Bez proxy autentifikacije, dozvoljena ruta preko javnog proxyja može koristiti kandidate za host i port sa liste HTTP proxyja, zadržavajući postavke Snowflake naloga.

Snowflake dokumentuje polja naloga, proxy_protocol i non_proxy_hosts kao samo za AWS. proxy_protocol je dodat u konektor 2.11.1 i podrazumevano je http. non_proxy_hosts razdvaja hostove URL-om kodiranom uspravnom crtom (%7C) i podržava zvezdicu kao džoker.

Koristite konektor koji odgovara verzijama Sparka i Scale u projektu. Ove opcije izvora podataka imaju sopstvena imena i formate; JDBC svojstva i objekti java.net.Proxy nisu zamenljivi ulazi.

Povezani članci