Configurar um proxy para o conector Spark do Snowflake na AWS

Configure as opções use_proxy, proxy_host e proxy_port do conector Spark, com as restrições documentadas da AWS sobre protocolo, conta e desvio.

Para o conector Spark do Snowflake na AWS, configure o leitor com as opções de proxy do próprio conector:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options contém as configurações de endpoint e autenticação da aplicação. Adicione a tabela ou consulta desejada antes de chamar load.

use_proxy é false por padrão. Quando ativado, exige proxy_host e proxy_port como campos separados. proxy_user e proxy_password fornecem uma conta intermediária. Sem autenticação de proxy, uma rota permitida por proxy público pode usar candidatos de host e porta da lista de proxies HTTP enquanto mantém as configurações da conta do Snowflake.

O Snowflake documenta os campos de conta, proxy_protocol e non_proxy_hosts como exclusivos da AWS. proxy_protocol foi adicionado no conector 2.11.1 e o padrão é http. non_proxy_hosts separa os hosts com uma barra vertical escapada na URL (%7C) e aceita um asterisco como curinga.

Use um conector compatível com as versões de Spark e Scala do projeto. Essas opções de fonte de dados têm nomes e formatos próprios; propriedades JDBC e objetos java.net.Proxy não são entradas intercambiáveis.

Artigos relacionados