Puhverserveri seadistamine Snowflake'i Sparki konnektori jaoks AWS-is

Seadistage Sparki konnektori valikud use_proxy, proxy_host ja proxy_port, arvestades AWS-i dokumenteeritud piiranguid protokolli, konto ja möödasõidu osas.

Snowflake'i Sparki konnektori jaoks AWS-is seadistage lugeja konnektori enda puhverserveri valikutega:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options sisaldab rakenduse lõpp-punkti ja autentimise seadeid. Lisage soovitud tabel või päring enne load-i kutsumist.

use_proxy on vaikimisi false. Sisse lülitades nõuab see proxy_host ja proxy_port eraldi väljadena. proxy_user ja proxy_password pakuvad vahendajakontot. Ilma puhverserveri autentimiseta saab lubatud avaliku puhverserveri marsruut kasutada hosti ja pordi kandidaate HTTP puhverserverite loendist, säilitades Snowflake'i konto seaded.

Snowflake dokumenteerib konto väljad, proxy_protocol ja non_proxy_hosts ainult AWS-i jaoks. proxy_protocol lisati konnektorisse 2.11.1 ja on vaikimisi http. non_proxy_hosts eraldab hostid URL-is escapetud püstjoonega (%7C) ja toetab tärni metamärgina.

Kasutage konnektorit, mis vastab projekti Sparki ja Scala versioonidele. Nendel andmeallika valikutel on oma nimed ja vormingud; JDBC-omadused ja java.net.Proxy objektid ei ole vahetatavad sisendid.

Seotud artiklid