AWS પર Snowflake ના Spark કનેક્ટર માટે પ્રોક્સી ગોઠવો

AWS પર Snowflake Spark કનેક્ટર માટે, કનેક્ટરના પોતાના પ્રોક્સી વિકલ્પો સાથે રીડર ગોઠવો:

options = {
    **snowflake_options,
    'use_proxy': 'true',
    'proxy_host': 'proxy.example',
    'proxy_port': '8080',
    'proxy_protocol': 'http',
}
reader = spark.read.format('snowflake').options(**options)

snowflake_options એપ્લિકેશનના એન્ડપોઇન્ટ અને પ્રમાણીકરણ સેટિંગ્સ રાખે છે. load કૉલ કરતા પહેલાં ઇચ્છિત કોષ્ટક અથવા ક્વેરી ઉમેરો.

use_proxy ડિફૉલ્ટ રૂપે false છે. સક્રિય કરવા પર તે proxy_host અને proxy_portને અલગ ફીલ્ડ તરીકે જરૂરી બનાવે છે. proxy_user અને proxy_password વચ્ચેનું ખાતું પૂરું પાડે છે. પ્રોક્સી પ્રમાણીકરણ વગર, મંજૂર જાહેર-પ્રોક્સી માર્ગ HTTP પ્રોક્સી સૂચિમાંથી હોસ્ટ અને પોર્ટ ઉમેદવારો વાપરી શકે છે અને Snowflakeના ખાતાની સેટિંગ્સ જાળવી રાખે છે.

Snowflake ખાતાના ફીલ્ડ, proxy_protocol અને non_proxy_hostsને ફક્ત AWS માટે દસ્તાવેજીકૃત કરે છે. proxy_protocol કનેક્ટર 2.11.1માં ઉમેરાયું અને ડિફૉલ્ટ http છે. non_proxy_hosts URL-એસ્કેપ કરેલી પાઇપ (%7C) થી હોસ્ટ અલગ કરે છે અને એસ્ટરિસ્ક વાઇલ્ડકાર્ડને સમર્થન આપે છે.

પ્રોજેક્ટના Spark અને Scala સંસ્કરણો સાથે મેળ ખાતું કનેક્ટર વાપરો. આ ડેટા-સ્રોત વિકલ્પોના પોતાના નામ અને ફોર્મેટ છે; JDBC પ્રોપર્ટીઝ અને java.net.Proxy ઑબ્જેક્ટ્સ અદલાબદલી થઈ શકે તેવા ઇનપુટ નથી.