Պրոքսիի կարգավորում Snowflake-ի Spark միակցիչի համար AWS-ում

Կարգավորեք Spark միակցիչի use_proxy, proxy_host և proxy_port ընտրանքները՝ AWS-ի փաստաթղթավորված սահմանափակումներով արձանագրության, հաշվի և շրջանցման վերաբերյալ։

AWS-ում Snowflake Spark միակցիչի համար կարգավորեք ընթերցիչը միակցիչի սեփական պրոքսի ընտրանքներով՝

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options-ը պահում է հավելվածի վերջնակետի և նույնականացման կարգավորումները։ load-ը կանչելուց առաջ ավելացրեք նախատեսված աղյուսակը կամ հարցումը։

use_proxy-ն լռելյայն false է։ Միացնելիս այն պահանջում է proxy_host և proxy_port որպես առանձին դաշտեր։ proxy_user-ը և proxy_password-ը տրամադրում են միջնորդ հաշիվ։ Առանց պրոքսի նույնականացման՝ թույլատրված հանրային պրոքսի ուղին կարող է օգտագործել հոսթի և պորտի թեկնածուներ HTTP պրոքսիների ցանկից՝ պահպանելով Snowflake-ի հաշվի կարգավորումները։

Snowflake-ը փաստաթղթավորում է հաշվի դաշտերը, proxy_protocol-ը և non_proxy_hosts-ը որպես միայն AWS-ի համար։ proxy_protocol-ը ավելացվել է 2.11.1 միակցիչում և լռելյայն http է։ non_proxy_hosts-ը բաժանում է հոսթերը URL-ում escape արված ուղղահայաց գծով (%7C) և աջակցում է աստղանիշի որպես ջոկերի նշան։

Օգտագործեք նախագծի Spark և Scala տարբերակներին համապատասխանող միակցիչ։ Այս տվյալների աղբյուրի ընտրանքներն ունեն իրենց անուններն ու ձևաչափերը. JDBC հատկությունները և java.net.Proxy օբյեկտները փոխանակելի մուտքեր չեն։

Առնչվող հոդվածներ