AWS дээр Snowflake-ийн Spark холбогчдод прокси тохируулах

Spark холбогчийн use_proxy, proxy_host, proxy_port сонголтыг AWS-ийн протокол, бүртгэл, тойрч гарах тохиргооны баримтжуулсан хязгаарлалтын хамт тохируулна уу.

AWS дээр Snowflake Spark холбогчийн хувьд уншигчийг холбогчийн өөрийн прокси сонголтоор тохируулна уу:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options нь програмын төгсгөлийн цэг болон баталгаажуулалтын тохиргоог хадгална. load дуудахаас өмнө хүссэн хүснэгт эсвэл query-г нэмнэ үү.

use_proxy анхдагчаар false байна. Идэвхжүүлэхэд proxy_host болон proxy_port-ыг тусдаа талбар болгон шаарддаг. proxy_user болон proxy_password нь завсрын бүртгэл өгдөг. Прокси баталгаажуулалтгүйгээр зөвшөөрөгдсөн нийтийн прокси зам нь Snowflake-ийн бүртгэлийн тохиргоог хадгалан HTTP прокси жагсаалтаас хост, портын нэр дэвшигчдийг ашиглаж болно.

Snowflake нь бүртгэлийн талбарууд, proxy_protocol болон non_proxy_hosts-ыг зөвхөн AWS-д зориулсан гэж баримтжуулдаг. proxy_protocol нь 2.11.1 холбогчид нэмэгдсэн бөгөөд анхдагчаар http. non_proxy_hosts нь хостүүдийг URL-д escape хийсэн босоо шугамаар (%7C) тусгаарлаж, одны тэмдэгтийг wildcard болгон дэмждэг.

Төслийн Spark болон Scala хувилбарт тохирох холбогчийг ашиглана уу. Эдгээр өгөгдлийн эх сурвалжийн сонголтууд өөрийн нэр, форматтай; JDBC шинж чанарууд болон java.net.Proxy объектууд нь харилцан сольж болох оролт биш.

Холбоотой нийтлэлүүд