Konfigurowanie serwera proxy dla łącznika Spark Snowflake w AWS

Skonfiguruj opcje use_proxy, proxy_host i proxy_port łącznika Spark, z udokumentowanymi ograniczeniami AWS dotyczącymi protokołu, konta i obejścia.

W przypadku łącznika Spark Snowflake w AWS skonfiguruj czytnik za pomocą własnych opcji serwera proxy łącznika:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options przechowuje ustawienia punktu końcowego i uwierzytelniania aplikacji. Dodaj docelową tabelę lub zapytanie przed wywołaniem load.

use_proxy domyślnie ma wartość false. Po włączeniu wymaga proxy_host i proxy_port jako oddzielnych pól. proxy_user i proxy_password zapewniają konto pośredniczące. Bez uwierzytelniania serwera proxy dozwolona trasa przez publiczny serwer proxy może używać kandydatów hosta i portu z listy serwerów proxy HTTP, zachowując ustawienia konta Snowflake.

Snowflake dokumentuje pola konta, proxy_protocol i non_proxy_hosts jako przeznaczone tylko dla AWS. proxy_protocol dodano w łączniku 2.11.1 i domyślnie ma wartość http. non_proxy_hosts oddziela hosty pionową kreską z escape'em URL (%7C) i obsługuje gwiazdkę jako znak wieloznaczny.

Użyj łącznika zgodnego z wersjami Spark i Scala w projekcie. Te opcje źródła danych mają własne nazwy i formaty; właściwości JDBC i obiekty java.net.Proxy nie są wymiennymi danymi wejściowymi.

Powiązane artykuły