I-configure ang Proxy para sa Spark Connector ng Snowflake sa AWS

I-configure ang use_proxy, proxy_host at proxy_port na opsyon ng Spark connector, kasama ang mga dokumentadong paghihigpit ng AWS sa protocol, account at bypass.

Para sa Snowflake Spark connector sa AWS, i-configure ang reader gamit ang sariling mga opsyon sa proxy ng connector:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

Ang snowflake_options ay naglalaman ng endpoint at authentication settings ng application. Idagdag ang nais na table o query bago tawagin ang load.

Ang use_proxy ay false bilang default. Kapag pinagana, kailangan nito ang proxy_host at proxy_port bilang magkahiwalay na field. Ang proxy_user at proxy_password ay nagbibigay ng intermediary account. Kung walang proxy authentication, ang pinapayagang public-proxy route ay makakagamit ng host at port candidates mula sa listahan ng HTTP proxy habang pinapanatili ang account settings ng Snowflake.

Idinodokumento ng Snowflake ang mga account field, proxy_protocol at non_proxy_hosts bilang para sa AWS lamang. Ang proxy_protocol ay idinagdag sa connector 2.11.1 at default ay http. Ang non_proxy_hosts ay naghihiwalay ng mga host gamit ang URL-escaped na patayong linya (%7C) at sinusuportahan ang asterisk bilang wildcard.

Gumamit ng connector na tumutugma sa mga bersyon ng Spark at Scala ng proyekto. Ang mga opsyon sa data source na ito ay may sariling pangalan at format; ang JDBC properties at java.net.Proxy objects ay hindi mapagpapalit na input.

Kaugnay na mga artikulo