Ρύθμιση διαμεσολαβητή για τον Spark connector του Snowflake στο AWS

Ρυθμίστε τις επιλογές use_proxy, proxy_host και proxy_port του Spark connector, με τους τεκμηριωμένους περιορισμούς του AWS σε πρωτόκολλο, λογαριασμό και παράκαμψη.

Για τον Spark connector του Snowflake στο AWS, ρυθμίστε τον αναγνώστη με τις δικές του επιλογές διαμεσολαβητή του connector:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

Το snowflake_options κρατά τις ρυθμίσεις τελικού σημείου και ελέγχου ταυτότητας της εφαρμογής. Προσθέστε τον επιθυμητό πίνακα ή το ερώτημα πριν καλέσετε το load.

Το use_proxy είναι false από προεπιλογή. Όταν ενεργοποιηθεί, απαιτεί τα proxy_host και proxy_port ως ξεχωριστά πεδία. Τα proxy_user και proxy_password παρέχουν ενδιάμεσο λογαριασμό. Χωρίς έλεγχο ταυτότητας διαμεσολαβητή, μια επιτρεπόμενη διαδρομή δημόσιου διαμεσολαβητή μπορεί να χρησιμοποιήσει υποψήφια host και port από τη λίστα διαμεσολαβητών HTTP, διατηρώντας τις ρυθμίσεις λογαριασμού του Snowflake.

Το Snowflake τεκμηριώνει τα πεδία λογαριασμού, το proxy_protocol και το non_proxy_hosts ως μόνο για AWS. Το proxy_protocol προστέθηκε στον connector 2.11.1 και είναι http από προεπιλογή. Το non_proxy_hosts χωρίζει τους hosts με κάθετη γραμμή διαφυγής URL (%7C) και υποστηρίζει αστερίσκο ως μπαλαντέρ.

Χρησιμοποιήστε connector που ταιριάζει με τις εκδόσεις Spark και Scala του έργου. Αυτές οι επιλογές πηγής δεδομένων έχουν δικά τους ονόματα και μορφές· οι ιδιότητες JDBC και τα αντικείμενα java.net.Proxy δεν είναι ανταλλάξιμες είσοδοι.

Σχετικά άρθρα