AWS-те Snowflake-тің Spark коннекторы үшін проксиді конфигурациялау

Spark коннекторының use_proxy, proxy_host және proxy_port параметрлерін AWS-тің протокол, аккаунт және айналып өту бойынша құжатталған шектеулерімен конфигурациялаңыз.

AWS-те Snowflake Spark коннекторы үшін оқырманды коннектордың өз прокси параметрлерімен конфигурациялаңыз:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options қосымшаның соңғы нүктесі мен аутентификация параметрлерін сақтайды. load шақыруының алдында қажетті кестені немесе сұрауды қосыңыз.

use_proxy әдепкіде false. Қосылғанда ол proxy_host және proxy_port-ты жеке өрістер ретінде талап етеді. proxy_user және proxy_password делдал аккаунтты береді. Прокси аутентификациясынсыз рұқсат етілген жалпыға қолжетімді прокси маршруты HTTP прокси тізімінен хост пен порт кандидаттарын пайдалана алады, Snowflake аккаунтының параметрлерін сақтай отырып.

Snowflake аккаунт өрістерін, proxy_protocol мен non_proxy_hosts-ты тек AWS үшін деп құжаттайды. proxy_protocol 2.11.1 коннекторында қосылды және әдепкіде http. non_proxy_hosts хосттарды URL-де escape етілген тік сызықпен (%7C) бөледі және жұлдызшаны wildcard ретінде қолдайды.

Жобаның Spark және Scala нұсқаларына сәйкес коннекторды пайдаланыңыз. Бұл дереккөз параметрлерінің өз атаулары мен форматтары бар; JDBC қасиеттері мен java.net.Proxy нысандары өзара алмастырылатын кірістер емес.

Қатысты мақалалар