Tarpinio serverio konfigūravimas Snowflake Spark jungikliui AWS aplinkoje

Sukonfigūruokite Spark jungiklio parinktis use_proxy, proxy_host ir proxy_port pagal dokumentuotus AWS apribojimus protokolui, paskyrai ir apėjimui.

Norėdami AWS aplinkoje naudoti Snowflake Spark jungiklį, sukonfigūruokite skaitytuvą paties jungiklio tarpinio serverio parinktimis:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options saugo programos galinio taško ir autentifikavimo nustatymus. Prieš kviesdami load pridėkite norimą lentelę arba užklausą.

use_proxy pagal nutylėjimą yra false. Įjungus jis reikalauja proxy_host ir proxy_port kaip atskirų laukų. proxy_user ir proxy_password suteikia tarpinę paskyrą. Be tarpinio serverio autentifikavimo, leidžiamas viešojo tarpinio serverio maršrutas gali naudoti hosto ir porto kandidatus iš HTTP tarpinių serverių sąrašo, išsaugant Snowflake paskyros nustatymus.

Snowflake dokumentuoja paskyros laukus, proxy_protocol ir non_proxy_hosts kaip skirtus tik AWS. proxy_protocol pridėtas jungiklyje 2.11.1 ir pagal nutylėjimą yra http. non_proxy_hosts atskiria hostus URL užkoduotu vertikaliu brūkšniu (%7C) ir palaiko žvaigždutę kaip pakaitos simbolį.

Naudokite jungiklį, atitinkantį projekto Spark ir Scala versijas. Šios duomenų šaltinio parinktys turi savo pavadinimus ir formatus; JDBC savybės ir java.net.Proxy objektai nėra keičiami įvesties duomenys.

Susiję straipsniai