Конфигурирање прокси за Spark конекторот на Snowflake на AWS

Конфигурирајте ги опциите use_proxy, proxy_host и proxy_port на Spark конекторот, со документираните ограничувања на AWS за протокол, сметка и заобиколување.

За Spark конекторот на Snowflake на AWS, конфигурирајте го читачот со сопствените прокси опции на конекторот:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options ги чува поставките за крајната точка и автентикацијата на апликацијата. Додајте ја саканата табела или барање пред да го повикате load.

use_proxy е false по стандард. Кога е овозможен, бара proxy_host и proxy_port како одделни полиња. proxy_user и proxy_password обезбедуваат посредничка сметка. Без прокси автентикација, дозволена рута преку јавен прокси може да користи кандидати за хост и порта од списокот со HTTP прокси, задржувајќи ги поставките на сметката на Snowflake.

Snowflake ги документира полињата на сметката, proxy_protocol и non_proxy_hosts како само за AWS. proxy_protocol е додаден во конекторот 2.11.1 и по стандард е http. non_proxy_hosts ги одделува хостовите со вертикална црта избегана во URL (%7C) и поддржува ѕвездичка како џокер.

Користете конектор што одговара на верзиите на Spark и Scala во проектот. Овие опции за извор на податоци имаат свои имиња и формати; JDBC својствата и објектите java.net.Proxy не се заменливи влезови.

Поврзани статии