Configurarea unui proxy pentru conectorul Spark al Snowflake pe AWS

Configurați opțiunile use_proxy, proxy_host și proxy_port ale conectorului Spark, cu restricțiile documentate ale AWS privind protocolul, contul și ocolirea.

Pentru conectorul Spark al Snowflake pe AWS, configurați cititorul cu opțiunile de proxy proprii conectorului:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options conține setările de endpoint și de autentificare ale aplicației. Adăugați tabelul sau interogarea dorită înainte de a apela load.

use_proxy este false implicit. Când este activat, solicită proxy_host și proxy_port ca câmpuri separate. proxy_user și proxy_password oferă un cont intermediar. Fără autentificare de proxy, o rută permisă prin proxy public poate folosi candidați de gazdă și port din lista de proxy-uri HTTP, păstrând setările contului Snowflake.

Snowflake documentează câmpurile de cont, proxy_protocol și non_proxy_hosts ca fiind numai pentru AWS. proxy_protocol a fost adăugat în conectorul 2.11.1 și implicit este http. non_proxy_hosts separă gazdele cu o bară verticală escapate în URL (%7C) și acceptă asteriscul ca wildcard.

Folosiți un conector potrivit versiunilor Spark și Scala ale proiectului. Aceste opțiuni de sursă de date au nume și formate proprii; proprietățile JDBC și obiectele java.net.Proxy nu sunt intrări interschimbabile.

Articole similare