Наладка проксі для Spark-канэктара Snowflake у AWS

Наладзьце параметры use_proxy, proxy_host і proxy_port канэктара Spark з улікам дакументаваных абмежаванняў AWS на пратакол, уліковы запіс і абысці.

Для Spark-канэктара Snowflake у AWS наладзьце сродак чытання ўласнымі параметрамі проксі канэктара:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options захоўвае налады канчатковай кропкі і аўтэнтыфікацыі праграмы. Дадайце патрэбную табліцу або запыт перад выклікам load.

use_proxy па змаўчанні false. Пры ўключэнні ён патрабуе proxy_host і proxy_port як асобныя палі. proxy_user і proxy_password даюць прамежкавы ўліковы запіс. Без аўтэнтыфікацыі проксі дазволены маршрут праз публічны проксі можа выкарыстоўваць кандыдаты хаста і порта з спіса HTTP-проксі, захоўваючы налады ўліковага запісу Snowflake.

Snowflake дакументуе палі ўліковага запісу, proxy_protocol і non_proxy_hosts як толькі для AWS. proxy_protocol дададзены ў канэктар 2.11.1 і па змаўчанні http. non_proxy_hosts раздзяляе хасты экраніраванай у URL вертыкальнай рыскай (%7C) і падтрымлівае сімвал зорачкі.

Выкарыстоўвайце канэктар, які адпавядае версіям Spark і Scala праекта. Гэтыя параметры крыніцы даных маюць свае назвы і фарматы; уласцівасці JDBC і аб'екты java.net.Proxy не ўзаемазаменныя.

Падобныя артыкулы