Configurar un proxy para o conector Spark de Snowflake en AWS

Para o conector Spark de Snowflake en AWS, configure o lector coas opcións de proxy propias do conector:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options contén a configuración do punto de conexión e da autenticación da aplicación. Engada a táboa ou a consulta desexada antes de chamar a load.

use_proxy é false por defecto. Ao activalo, require proxy_host e proxy_port como campos separados. proxy_user e proxy_password fornecen unha conta intermedia. Sen autenticación de proxy, unha ruta permitida a través dun proxy público pode usar candidatos de host e porto da lista de proxies HTTP mentres conserva a configuración da conta de Snowflake.

Snowflake documenta os campos de conta, proxy_protocol e non_proxy_hosts como exclusivos de AWS. proxy_protocol engadiuse no conector 2.11.1 e por defecto é http. non_proxy_hosts separa os hosts cunha barra vertical escapada na URL (%7C) e admite un asterisco como comodín.

Use un conector que coincida coas versións de Spark e Scala do proxecto. Estas opcións de orixe de datos teñen os seus propios nomes e formatos; as propiedades JDBC e os obxectos java.net.Proxy non son entradas intercambiables.