Configurer un proxy pour le connecteur Spark de Snowflake sur AWS

Configurez les options use_proxy, proxy_host et proxy_port du connecteur Spark, avec les restrictions AWS documentées sur le protocole, le compte et le contournement.

Pour le connecteur Spark de Snowflake sur AWS, configurez le lecteur avec les options de proxy propres au connecteur :

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options contient les paramètres de point de terminaison et d'authentification de l'application. Ajoutez la table ou la requête voulue avant d'appeler load.

use_proxy vaut false par défaut. Lorsqu'il est activé, il exige proxy_host et proxy_port comme champs distincts. proxy_user et proxy_password fournissent un compte intermédiaire. Sans authentification de proxy, un itinéraire autorisé via un proxy public peut utiliser des candidats d'hôte et de port de la liste de proxys HTTP tout en conservant les paramètres de compte de Snowflake.

Snowflake documente les champs de compte, proxy_protocol et non_proxy_hosts comme réservés à AWS. proxy_protocol a été ajouté dans le connecteur 2.11.1 et vaut http par défaut. non_proxy_hosts sépare les hôtes par une barre verticale échappée en URL (%7C) et accepte un astérisque comme joker.

Utilisez un connecteur correspondant aux versions de Spark et de Scala du projet. Ces options de source de données ont leurs propres noms et formats ; les propriétés JDBC et les objets java.net.Proxy ne sont pas des entrées interchangeables.

Articles similaires