პროქსის კონფიგურაცია Snowflake-ის Spark კონექტორისთვის AWS-ზე

კონფიგურეთ Spark კონექტორის use_proxy, proxy_host და proxy_port პარამეტრები AWS-ის დოკუმენტირებული შეზღუდვებით პროტოკოლზე, ანგარიშსა და გვერდის ავლაზე.

AWS-ზე Snowflake Spark კონექტორისთვის წამკითხველი კონფიგურეთ თავად კონექტორის პროქსის პარამეტრებით:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options ინახავს აპლიკაციის საბოლოო წერტილისა და ავთენტიფიკაციის პარამეტრებს. სასურველი ცხრილი ან მოთხოვნა დაამატეთ load-ის გამოძახებამდე.

use_proxy ნაგულისხმევად false-ია. ჩართვისას ის მოითხოვს proxy_host-სა და proxy_port-ს ცალკე ველებად. proxy_user და proxy_password შუამავალი ანგარიშს გვაძლევს. პროქსის ავთენტიფიკაციის გარეშე, ნებადართულ საჯარო პროქსის მარშრუტს შეუძლია ჰოსტისა და პორტის კანდიდატების გამოყენება HTTP პროქსების სიიდან, Snowflake-ის ანგარიშის პარამეტრების შენარჩუნებით.

Snowflake ანგარიშის ველებს, proxy_protocol-სა და non_proxy_hosts-ს მხოლოდ AWS-ისთვის დოკუმენტირებულად აღნიშნავს. proxy_protocol დაემატა 2.11.1 კონექტორში და ნაგულისხმევად http-ია. non_proxy_hosts ჰოსტებს URL-ში გაქცეული ვერტიკალური ხაზით (%7C) ჰყოფს და ვარსკვლავის ჟოლივარს ემხრობა.

გამოიყენეთ კონექტორი, რომელიც შეესაბამება პროექტის Spark-ისა და Scala-ს ვერსიებს. ამ მონაცემთა წყაროს პარამეტრებს საკუთარი სახელები და ფორმატები აქვთ; JDBC თვისებები და java.net.Proxy ობიექტები ურთიერთშემცვლელი შეყვანები არ არის.

დაკავშირებული სტატიები