Configurar un proxy para el conector Spark de Snowflake en AWS

Para el conector Spark de Snowflake en AWS, configure el lector con las opciones de proxy propias del conector:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options contiene la configuración del punto de conexión y de autenticación de la aplicación. Añada la tabla o consulta deseada antes de llamar a load.

use_proxy es false de forma predeterminada. Al activarlo, exige proxy_host y proxy_port como campos separados. proxy_user y proxy_password proporcionan una cuenta intermedia. Sin autenticación de proxy, una ruta permitida a través de un proxy público puede usar candidatos de host y puerto de la lista de proxies HTTP mientras conserva la configuración de la cuenta de Snowflake.

Snowflake documenta los campos de cuenta, proxy_protocol y non_proxy_hosts como exclusivos de AWS. proxy_protocol se añadió en el conector 2.11.1 y su valor predeterminado es http. non_proxy_hosts separa los hosts con una barra vertical escapada en URL (%7C) y admite un asterisco como comodín.

Use un conector que coincida con las versiones de Spark y Scala del proyecto. Estas opciones de origen de datos tienen sus propios nombres y formatos; las propiedades JDBC y los objetos java.net.Proxy no son entradas intercambiables.