ຕັ້ງຄ່າ Proxy ສຳລັບ Spark Connector ຂອງ Snowflake ເທິງ AWS

ຕັ້ງຄ່າຕົວເລືອກ use_proxy, proxy_host ແລະ proxy_port ຂອງ Spark connector ພ້ອມກັບຂໍ້ຈຳກັດ AWS ທີ່ມີເອກະສານກ່ຽວກັບ protocol, ບັນຊີ ແລະ bypass.

ສຳລັບ Snowflake Spark connector ເທິງ AWS, ຕັ້ງຄ່າຕົວອ່ານດ້ວຍຕົວເລືອກ proxy ຂອງ connector ເອງ:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options ເກັບການຕັ້ງຄ່າ endpoint ແລະ ການພິສູດຢືນຢັນຂອງແອັບພລິເຄຊັນ. ເພີ່ມຕາຕະລາງ ຫຼື query ທີ່ຕ້ອງການກ່ອນເອີ້ນ load.

use_proxy ມີຄ່າເລີ່ມຕົ້ນເປັນ false. ເມື່ອເປີດໃຊ້ ມັນຕ້ອງການ proxy_host ແລະ proxy_port ເປັນຟິລດ໌ແຍກຕ່າງຫາກ. proxy_user ແລະ proxy_password ໃຫ້ບັນຊີກາງ. ຖ້າບໍ່ມີການພິສູດຢືນຢັນ proxy, ເສັ້ນທາງ proxy ສາທາລະນະທີ່ອະນຸຍາດສາມາດໃຊ້ຜູ້ສະໝັກ host ແລະ port ຈາກ ລາຍຊື່ proxy HTTP ໂດຍຮັກສາການຕັ້ງຄ່າບັນຊີຂອງ Snowflake.

Snowflake ບັນທຶກຟິລດ໌ບັນຊີ, proxy_protocol ແລະ non_proxy_hosts ວ່າໃຊ້ສະເພາະ AWS. proxy_protocol ຖືກເພີ່ມໃນ connector 2.11.1 ແລະ ຄ່າເລີ່ມຕົ້ນແມ່ນ http. non_proxy_hosts ແຍກ host ດ້ວຍເສັ້ນຕັ້ງທີ່ escape ໃນ URL (%7C) ແລະ ຮອງຮັບ asterisk ເປັນ wildcard.

ໃຊ້ connector ທີ່ກົງກັບເວີຊັນ Spark ແລະ Scala ຂອງໂຄງການ. ຕົວເລືອກແຫຼ່ງຂໍ້ມູນເຫຼົ່ານີ້ມີຊື່ ແລະ ຮູບແບບຂອງຕົນເອງ; ຄຸນສົມບັດ JDBC ແລະ ອອບເຈັກ java.net.Proxy ບໍ່ແມ່ນຂໍ້ມູນປ້ອນທີ່ແລກປ່ຽນກັນໄດ້.

ບົດຄວາມທີ່ກ່ຽວຂ້ອງ