Konfigureer 'n instaanbediener vir Snowflake se Spark-connector op AWS

Konfigureer die Spark-connector se use_proxy-, proxy_host- en proxy_port-opsies, met die gedokumenteerde AWS-beperkings op protokol, rekening en omsy-instellings.

Vir die Snowflake Spark-connector op AWS konfigureer jy die leser met die connector se eie instaanbediener-opsies:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options hou die toepassing se eindpunt- en verifikasiestellings. Voeg die beoogde tabel of navraag by voordat jy load aanroep.

use_proxy is by verstek false. Wanneer dit geaktiveer word, vereis dit proxy_host en proxy_port as aparte velde. proxy_user en proxy_password verskaf 'n tussenganger-rekening. Sonder instaanbediener-verifikasie kan 'n toegelate publieke instaanroete gasheer- en poortkandidate uit die HTTP-instaanbedienerlys gebruik terwyl Snowflake se rekeninginstellings behou word.

Snowflake dokumenteer die rekeningvelde, proxy_protocol en non_proxy_hosts as slegs vir AWS. proxy_protocol is in connector 2.11.1 bygevoeg en is by verstek http. non_proxy_hosts skei gashere met 'n URL-ontwykte pyp (%7C) en ondersteun 'n asterisk-jokerteken.

Gebruik 'n connector wat by die projek se Spark- en Scala-weergawes pas. Hierdie databron-opsies het hul eie name en formate; JDBC-eienskappe en java.net.Proxy-voorwerpe is nie uitruilbare insette nie.

Verwante artikels