AWS'те Snowflake'дун Spark коннектору үчүн проксини конфигурациялоо

Spark коннекторунун use_proxy, proxy_host жана proxy_port параметрлерин AWS'тин протокол, аккаунт жана айланып өтүү боюнча документтелген чектөөлөрү менен конфигурациялаңыз.

AWS'те Snowflake Spark коннектору үчүн окуучуну коннектордун өз прокси параметрлери менен конфигурациялаңыз:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options колдонмонун акыркы чекитинин жана аутентификация параметрлеринин сактайт. load чакыруудан мурун керектүү таблицаны же сурамды кошуңуз.

use_proxy демейки боюнча false. Күйгүзүлгөндө ал proxy_host жана proxy_port'ту өзүнчө талаалар катары талап кылат. proxy_user жана proxy_password ортомчу аккаунтту берет. Прокси аутентификациясыз уруксат берилген коомдук прокси маршруту HTTP прокси тизмесинен хост жана порт талапкерлерин колдоно алат, Snowflake аккаунтунун параметрлерин сактап.

Snowflake аккаунт талааларын, proxy_protocol жана non_proxy_hosts'ту AWS үчүн гана деп документтейт. proxy_protocol 2.11.1 коннекторунда кошулган жана демейки http. non_proxy_hosts хостторду URL'де escape кылынган тик сызык менен (%7C) бөлөт жана жылдызчаны wildcard катары колдойт.

Долбоордун Spark жана Scala версияларына туура келген коннекторду колдонуңуз. Бул дайын булагынын параметрлеринин өз аталыштары жана форматтары бар; JDBC касиеттери жана java.net.Proxy объектилери алмаштырылуучу киргизүүлөр эмес.

Тектеш макалалар