Välityspalvelimen määrittäminen Snowflaken Spark-liittimelle AWS:ssä

Määritä Spark-liittimen use_proxy-, proxy_host- ja proxy_port-asetukset sekä AWS:n dokumentoidut rajoitukset protokollalle, tilille ja ohitukselle.

Määritä AWS:ssä Snowflaken Spark-liittimen lukija liittimen omilla välityspalvelinasetuksilla:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options sisältää sovelluksen päätepisteen ja todennuksen asetukset. Lisää haluttu taulu tai kysely ennen load-kutsua.

use_proxy on oletuksena false. Kun se otetaan käyttöön, se vaatii proxy_hostin ja proxy_portin erillisinä kenttinä. proxy_user ja proxy_password tarjoavat välittäjätilin. Ilman välityspalvelimen todennusta sallittu julkinen välityspalvelinreitti voi käyttää isäntä- ja porttiehdokkaita HTTP-välityspalvelinluettelosta säilyttäen Snowflaken tiliasetukset.

Snowflake dokumentoi tilikentät, proxy_protocolin ja non_proxy_hostsin vain AWS:ää varten. proxy_protocol lisättiin liittimeen 2.11.1, ja se on oletuksena http. non_proxy_hosts erottaa isännät URL-koodatulla pystyviivalla (%7C) ja tukee tähtimerkkiä yleismerkkinä.

Käytä liitintä, joka vastaa projektin Spark- ja Scala-versioita. Näillä tietolähdeasetuksilla on omat nimensä ja muotonsa; JDBC-ominaisuudet ja java.net.Proxy-oliot eivät ole vaihtokelpoisia syötteitä.

Aiheeseen liittyvät artikkelit