Starpniekservera konfigurēšana Snowflake Spark savienotājam AWS vidē

Konfigurējiet Spark savienotāja opcijas use_proxy, proxy_host un proxy_port saskaņā ar dokumentētajiem AWS ierobežojumiem protokolam, kontam un apiešanai.

Lai AWS vidē izmantotu Snowflake Spark savienotāju, konfigurējiet lasītāju ar paša savienotāja starpniekservera opcijām:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options glabā lietojumprogrammas galapunkta un autentifikācijas iestatījumus. Pirms load izsaukšanas pievienojiet vēlamo tabulu vai vaicājumu.

use_proxy pēc noklusējuma ir false. Kad tas ir iespējots, tam nepieciešams proxy_host un proxy_port kā atsevišķi lauki. proxy_user un proxy_password nodrošina starpniekkontu. Bez starpniekservera autentifikācijas atļauts publiskā starpniekservera maršruts var izmantot resursdatora un porta kandidātus no HTTP starpniekserveru saraksta, saglabājot Snowflake konta iestatījumus.

Snowflake dokumentē konta laukus, proxy_protocol un non_proxy_hosts kā paredzētus tikai AWS. proxy_protocol tika pievienots savienotājā 2.11.1, un pēc noklusējuma tas ir http. non_proxy_hosts atdala resursdatorus ar URL aizbēgtu vertikālu joslu (%7C) un atbalsta zvaigznīti kā aizstājējzīmi.

Izmantojiet savienotāju, kas atbilst projekta Spark un Scala versijām. Šīm datu avota opcijām ir savi nosaukumi un formāti; JDBC rekvizīti un java.net.Proxy objekti nav apmaināmi ievaddati.

Saistītie raksti