Konfigurace proxy pro konektor Spark od Snowflake v AWS

Nakonfigurujte možnosti use_proxy, proxy_host a proxy_port konektoru Spark s dokumentovanými omezeními AWS pro protokol, účet a obcházení.

Pro konektor Spark od Snowflake v AWS nakonfigurujte čtečku vlastními možnostmi proxy daného konektoru:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options obsahuje nastavení koncového bodu a ověřování aplikace. Před voláním load přidejte zamýšlenou tabulku nebo dotaz.

use_proxy má ve výchozím nastavení hodnotu false. Po zapnutí vyžaduje proxy_host a proxy_port jako samostatná pole. proxy_user a proxy_password poskytují zprostředkující účet. Bez ověřování proxy může povolená trasa přes veřejnou proxy použít kandidáty hostitele a portu ze seznamu HTTP proxy a přitom zachovat nastavení účtu Snowflake.

Snowflake dokumentuje pole účtu, proxy_protocol a non_proxy_hosts jako určená pouze pro AWS. proxy_protocol byl přidán v konektoru 2.11.1 a ve výchozím nastavení je http. non_proxy_hosts odděluje hostitele svislou čarou escapovanou v URL (%7C) a podporuje hvězdičkový zástupný znak.

Použijte konektor odpovídající verzím Spark a Scala v projektu. Tyto možnosti zdroje dat mají vlastní názvy a formáty; vlastnosti JDBC a objekty java.net.Proxy nejsou zaměnitelné vstupy.

Související články