Konfiguriranje posredniškega strežnika za konektor Spark Snowflake v AWS

Konfigurirajte možnosti use_proxy, proxy_host in proxy_port konektorja Spark z dokumentiranimi omejitvami AWS za protokol, račun in obvoz.

Za konektor Spark Snowflake v AWS konfigurirajte bralnik z lastnimi možnostmi posredniškega strežnika konektorja:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options hrani nastavitve končne točke in preverjanja pristnosti aplikacije. Pred klicem load dodajte želeno tabelo ali poizvedbo.

use_proxy je privzeto false. Ko je omogočen, zahteva proxy_host in proxy_port kot ločeni polji. proxy_user in proxy_password zagotavljata vmesni račun. Brez preverjanja pristnosti posredniškega strežnika lahko dovoljena pot prek javnega posredniškega strežnika uporabi kandidate za gostitelja in vrata s seznama posredniških strežnikov HTTP, pri čemer ohrani nastavitve računa Snowflake.

Snowflake dokumentira polja računa, proxy_protocol in non_proxy_hosts kot namenjena samo AWS. proxy_protocol je bil dodan v konektorju 2.11.1 in je privzeto http. non_proxy_hosts ločuje gostitelje z navpično črto, ubežano v URL (%7C), in podpira zvezdico kot nadomestni znak.

Uporabite konektor, ki ustreza različicama Spark in Scala v projektu. Te možnosti vira podatkov imajo svoja imena in oblike; lastnosti JDBC in objekti java.net.Proxy niso zamenljivi vhodi.

Sorodni članki