Konfigurácia proxy pre konektor Spark od Snowflake v AWS

Nakonfigurujte možnosti use_proxy, proxy_host a proxy_port konektora Spark s dokumentovanými obmedzeniami AWS pre protokol, účet a obchádzanie.

Pre konektor Spark od Snowflake v AWS nakonfigurujte čítačku vlastnými možnosťami proxy daného konektora:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options obsahuje nastavenia koncového bodu a overovania aplikácie. Pred volaním load pridajte požadovanú tabuľku alebo dotaz.

use_proxy má predvolene hodnotu false. Po zapnutí vyžaduje proxy_host a proxy_port ako samostatné polia. proxy_user a proxy_password poskytujú sprostredkujúci účet. Bez overovania proxy môže povolená trasa cez verejnú proxy použiť kandidátov hostiteľa a portu zo zoznamu HTTP proxy a pritom zachovať nastavenia účtu Snowflake.

Snowflake dokumentuje polia účtu, proxy_protocol a non_proxy_hosts ako určené len pre AWS. proxy_protocol bol pridaný v konektore 2.11.1 a predvolene je http. non_proxy_hosts oddeľuje hostiteľov zvislou čiarou escapovanou v URL (%7C) a podporuje hviezdičku ako zástupný znak.

Použite konektor zodpovedajúci verziám Spark a Scala v projekte. Tieto možnosti zdroja údajov majú vlastné názvy a formáty; vlastnosti JDBC a objekty java.net.Proxy nie sú zameniteľné vstupy.

Súvisiace články