Konfigurimi i një proxy për konektorin Spark të Snowflake në AWS

Konfiguroni opsionet use_proxy, proxy_host dhe proxy_port të konektorit Spark, me kufizimet e dokumentuara të AWS për protokollin, llogarinë dhe anashkalimin.

Për konektorin Spark të Snowflake në AWS, konfiguroni lexuesin me opsionet e proxy të vetë konektorit:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options mban cilësimet e pikës fundore dhe të vërtetimit të aplikacionit. Shtoni tabelën ose pyetësorin e synuar përpara se të thërrisni load.

use_proxy është false si parazgjedhje. Kur aktivizohet, kërkon proxy_host dhe proxy_port si fusha të veçanta. proxy_user dhe proxy_password ofrojnë një llogari ndërmjetëse. Pa vërtetim proxy, një rrugë e lejuar përmes proxy publik mund të përdorë kandidatë hosti dhe porti nga lista e proxy-ve HTTP duke ruajtur cilësimet e llogarisë së Snowflake.

Snowflake dokumenton fushat e llogarisë, proxy_protocol dhe non_proxy_hosts si vetëm për AWS. proxy_protocol u shtua në konektorin 2.11.1 dhe si parazgjedhje është http. non_proxy_hosts ndan hostet me një vijë vertikale të escape-uar në URL (%7C) dhe mbështet yllin si wildcard.

Përdorni një konektor që përputhet me versionet Spark dhe Scala të projektit. Këto opsione të burimit të të dhënave kanë emrat dhe formatet e tyre; vetitë JDBC dhe objektet java.net.Proxy nuk janë hyrje të këmbyeshme.

Artikuj të ngjashëm