Ffurfweddu procsi ar gyfer cysylltydd Spark Snowflake ar AWS

Ffurfweddwch opsiynau use_proxy, proxy_host a proxy_port y cysylltydd Spark, gyda chyfyngiadau AWS dogfennedig ar brotocol, cyfrif a sgipio.

Ar gyfer cysylltydd Spark Snowflake ar AWS, ffurfweddwch y darllenydd ag opsiynau procsi'r cysylltydd ei hun:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

Mae snowflake_options yn dal gosodiadau pwynt terfyn a dilysu'r cymhwysiad. Ychwanegwch y tabl neu'r ymholiad a fwriadwyd cyn galw load.

Mae use_proxy yn false yn ddiofyn. Pan gaiff ei alluogi, mae'n gofyn am proxy_host a proxy_port fel meysydd ar wahân. Mae proxy_user a proxy_password yn darparu cyfrif cyfryngol. Heb ddilysu procsi, gall llwybr procsi cyhoeddus a ganiateir ddefnyddio ymgeiswyr gwesteiwr a phorth o'r rhestr procsi HTTP tra'n cadw gosodiadau cyfrif Snowflake.

Mae Snowflake yn dogfennu'r meysydd cyfrif, proxy_protocol a non_proxy_hosts fel rhai AWS yn unig. Ychwanegwyd proxy_protocol yng nghysylltydd 2.11.1 ac mae'n http yn ddiofyn. Mae non_proxy_hosts yn gwahanu gwesteiwyr â phibell wedi'i dianc gan URL (%7C) ac yn cefnogi arwydd seren fel nod chwilio.

Defnyddiwch gysylltydd sy'n cyd-fynd â fersiynau Spark a Scala'r prosiect. Mae gan yr opsiynau ffynhonnell ddata hyn eu henwau a'u fformatau eu hunain; nid yw priodweddau JDBC a gwrthrychau java.net.Proxy yn fewnbynnau cyfnewidiol.

Erthyglau cysylltiedig