Kusanidi proksi kwa kiunganishi cha Spark cha Snowflake kwenye AWS

Sanidi chaguo use_proxy, proxy_host na proxy_port za kiunganishi cha Spark, pamoja na vizuizi vya AWS vilivyoandikwa kuhusu protocol, akaunti na upitaji.

Kwa kiunganishi cha Snowflake Spark kwenye AWS, sanidi kisomaji kwa chaguo za proksi za kiunganishi chenyewe:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options huhifadhi mipangilio ya mwisho wa huduma na uthibitishaji wa programu. Ongeza jedwali au swali unalokusudia kabla ya kuita load.

use_proxy ni false kwa chaguo-msingi. Inapowezeshwa, inahitaji proxy_host na proxy_port kama sehemu tofauti. proxy_user na proxy_password hutoa akaunti ya kati. Bila uthibitishaji wa proksi, njia inayoruhusiwa ya proksi ya umma inaweza kutumia wagombea wa host na port kutoka orodha ya proksi za HTTP huku ikihifadhi mipangilio ya akaunti ya Snowflake.

Snowflake huandika sehemu za akaunti, proxy_protocol na non_proxy_hosts kama za AWS pekee. proxy_protocol iliongezwa katika kiunganishi 2.11.1 na chaguo-msingi ni http. non_proxy_hosts hutenganisha host kwa mstari wima ulioepushwa katika URL (%7C) na inaauni nyota kama wildcard.

Tumia kiunganishi kinacholingana na matoleo ya Spark na Scala ya mradi. Chaguo hizi za chanzo cha data zina majina na miundo yake; sifa za JDBC na vitu vya java.net.Proxy si maingizo yanayoweza kubadilishana.

Makala zinazohusiana