AWS에서 Snowflake Spark 커넥터의 프록시 구성

Spark 커넥터의 use_proxy, proxy_host, proxy_port 옵션을 AWS의 프로토콜·계정·바이패스 설정 관련 문서화된 제한과 함께 구성합니다.

AWS의 Snowflake Spark 커넥터에서는 커넥터 자체의 프록시 옵션으로 리더를 구성합니다.

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options에는 애플리케이션의 엔드포인트와 인증 설정이 들어 있습니다. load를 호출하기 전에 대상 테이블이나 쿼리를 추가하세요.

use_proxy의 기본값은 false입니다. 활성화하면 proxy_host와 proxy_port를 별도 필드로 요구합니다. proxy_user와 proxy_password는 중간 계정을 제공합니다. 프록시 인증이 없으면 허용된 공용 프록시 경로에서 Snowflake의 계정 설정을 유지한 채 HTTP 프록시 목록의 호스트와 포트 후보를 사용할 수 있습니다.

Snowflake는 계정 필드, proxy_protocol, non_proxy_hosts를 AWS 전용으로 문서화합니다. proxy_protocol은 커넥터 2.11.1에서 추가되었으며 기본값은 http입니다. non_proxy_hosts는 URL 이스케이프된 세로줄(%7C)로 호스트를 구분하고 별표 와일드카드를 지원합니다.

프로젝트의 Spark 및 Scala 버전과 맞는 커넥터를 사용하세요. 이 데이터 소스 옵션에는 고유한 이름과 형식이 있으며, JDBC 속성과 java.net.Proxy 객체는 서로 대체할 수 있는 입력이 아닙니다.

관련 글