AWS-də Snowflake Spark konnektoru üçün proksi konfiqurasiya edin

Spark konnektorunun use_proxy, proxy_host və proxy_port seçimlərini, protokol, hesab və keçid parametrləri üzrə sənədləşdirilmiş AWS məhdudiyyətləri ilə konfiqurasiya edin.

AWS-də Snowflake Spark konnektoru üçün oxuyucunu konnektorun öz proksi seçimləri ilə konfiqurasiya edin:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options tətbiqin son nöqtə və autentifikasiya parametrlərini saxlayır. load çağırışından əvvəl nəzərdə tutulan cədvəli və ya sorğunu əlavə edin.

use_proxy standart olaraq false-dur. Aktivləşdirildikdə proxy_host və proxy_port ayrı sahələr kimi tələb olunur. proxy_user və proxy_password aralıq hesab təqdim edir. Proksi autentifikasiyası olmadan, icazə verilmiş ictimai proksi marşrutu HTTP proksi siyahısından host və port namizədlərindən istifadə edə bilər, Snowflake hesab parametrləri saxlanmaqla.

Snowflake hesab sahələrini, proxy_protocol və non_proxy_hosts-u yalnız AWS üçün sənədləşdirir. proxy_protocol 2.11.1 konnektorunda əlavə edilib və standart olaraq http-dir. non_proxy_hosts hostları URL ilə ekranlaşdırılmış boru (%7C) ilə ayırır və ulduz joker simvolunu dəstəkləyir.

Layihənin Spark və Scala versiyalarına uyğun konnektor istifadə edin. Bu məlumat mənbəyi seçimlərinin öz adları və formatları var; JDBC xassələri və java.net.Proxy obyektləri bir-birini əvəz edən girişlər deyil.

Əlaqəli məqalələr