Ikkonfigura proxy għall-konnettur Spark ta' Snowflake fuq AWS

Ikkonfigura l-għażliet use_proxy, proxy_host u proxy_port tal-konnettur Spark, mar-restrizzjonijiet dokumentati ta' AWS fuq protokoll, kont u bypass.

Għall-konnettur Spark ta' Snowflake fuq AWS, ikkonfigura l-qarrej bl-għażliet tal-proxy tal-konnettur stess:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options iżomm is-settings tal-endpoint u tal-awtentikazzjoni tal-applikazzjoni. Żid it-tabella jew il-query mixtieqa qabel ma ssejjaħ load.

use_proxy huwa false b'mod awtomatiku. Meta jiġi attivat, jeħtieġ proxy_host u proxy_port bħala oqsma separati. proxy_user u proxy_password jipprovdu kont intermedjarju. Mingħajr awtentikazzjoni tal-proxy, rotta permessa ta' proxy pubbliku tista' tuża kandidati tal-host u tal-port mil-lista tal-proxy HTTP filwaqt li żżomm is-settings tal-kont ta' Snowflake.

Snowflake tiddokumenta l-oqsma tal-kont, proxy_protocol u non_proxy_hosts bħala għal AWS biss. proxy_protocol ġie miżjud fil-konnettur 2.11.1 u b'mod awtomatiku huwa http. non_proxy_hosts tissepara l-hosts b'linja vertikali escapejata fl-URL (%7C) u tappoġġja asterisk bħala wildcard.

Uża konnettur li jaqbel mal-verżjonijiet Spark u Scala tal-proġett. Dawn l-għażliet tas-sors tad-data għandhom ismijiet u formati tagħhom; il-proprjetajiet JDBC u l-oġġetti java.net.Proxy mhumiex inputs li jistgħu jinbidlu.

Artikli relatati