Ṣeto aṣojú kan fún Spark connector Snowflake lórí AWS

Ṣeto àwọn àṣàyàn use_proxy, proxy_host àti proxy_port ti Spark connector, pẹ̀lú àwọn ìhámọ́ AWS tí a kọ sílẹ̀ lórí protocol, àkọsílẹ̀ àti bypass.

Fún Snowflake Spark connector lórí AWS, ṣeto olùkà pẹ̀lú àwọn àṣàyàn aṣojú ti connector fúnra rẹ̀:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options ní àwọn ìṣètò endpoint àti ìjẹ́rìí ti ohun èlò náà. Fi table tàbí ìbéèrè tí o fẹ́ kún ṣáájú kí o tó pe load.

use_proxy jẹ́ false ní àìpẹ́. Nígbà tí a bá mú ṣiṣẹ́, ó nílò proxy_host àti proxy_port gẹ́gẹ́ bí ààyè ọ̀tọ̀ọ̀tọ̀. proxy_user àti proxy_password pèsè àkọsílẹ̀ alárinà. Láìsí ìjẹ́rìí aṣojú, ọ̀nà aṣojú gbogbogbò tí a gbà láyè lè lo àwọn olùdíje host àti port láti àkójọ aṣojú HTTP nígbà tí ó ń pa àwọn ìṣètò àkọsílẹ̀ Snowflake mọ́.

Snowflake kọ àwọn ààyè àkọsílẹ̀, proxy_protocol àti non_proxy_hosts sílẹ̀ gẹ́gẹ́ bí ti AWS nìkan. proxy_protocol ni a fi kún connector 2.11.1 àti pé ìpilẹ̀ rẹ̀ jẹ́ http. non_proxy_hosts yà àwọn host sọ́tọ̀ pẹ̀lú òpó inaro tí a ṣe escape nínú URL (%7C) ó sì ṣe àtìlẹ́yìn fún àmì ìràwọ̀ gẹ́gẹ́ bí wildcard.

Lo connector tí ó bá àwọn ẹ̀yà Spark àti Scala ti iṣẹ́ náà mu. Àwọn àṣàyàn orísun dátà wọ̀nyí ní orúkọ àti ọ̀nà tiwọn; àwọn ẹ̀yà JDBC àti àwọn ohun java.net.Proxy kì í ṣe ìwọlé tí a lè pààrọ̀.

Àwọn àpilẹ̀kọ tó jọra