AWS'de Snowflake'in Spark Bağlayıcısı için Proxy Yapılandırma

Spark bağlayıcısının use_proxy, proxy_host ve proxy_port seçeneklerini, AWS'nin protokol, hesap ve atlama ayarlarına ilişkin belgelenmiş kısıtlamalarıyla yapılandırın.

AWS'de Snowflake Spark bağlayıcısı için okuyucuyu bağlayıcının kendi proxy seçenekleriyle yapılandırın:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options, uygulamanın uç nokta ve kimlik doğrulama ayarlarını tutar. load çağrısından önce istediğiniz tabloyu veya sorguyu ekleyin.

use_proxy varsayılan olarak false'tur. Etkinleştirildiğinde proxy_host ve proxy_port'u ayrı alanlar olarak gerektirir. proxy_user ve proxy_password bir aracı hesap sağlar. Proxy kimlik doğrulaması olmadan, izin verilen bir genel proxy yolu Snowflake'in hesap ayarlarını koruyarak HTTP proxy listesinden ana bilgisayar ve bağlantı noktası adaylarını kullanabilir.

Snowflake, hesap alanlarını, proxy_protocol ve non_proxy_hosts'u yalnızca AWS'ye özel olarak belgeler. proxy_protocol, bağlayıcı 2.11.1'de eklendi ve varsayılan olarak http'dir. non_proxy_hosts, ana bilgisayarları URL'de kaçışlanmış dikey çizgiyle (%7C) ayırır ve yıldız işaretini joker karakter olarak destekler.

Projenin Spark ve Scala sürümleriyle eşleşen bir bağlayıcı kullanın. Bu veri kaynağı seçeneklerinin kendi adları ve biçimleri vardır; JDBC özellikleri ve java.net.Proxy nesneleri birbirinin yerine kullanılabilecek girdiler değildir.

İlgili makaleler