spark-shell ના પેકેજ રિઝોલ્વરને લોન્ચ વખતે તેનો પ્રોક્સી આપો

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

ક્લાયન્ટ-સાઇડ spark-shell લોન્ચ વખતે આ ડ્રાઇવર JVM વિકલ્પો ડિપેન્ડન્સી રિઝોલ્યુશન પહેલાં આવે છે. ઉદાહરણનું એન્ડપોઇન્ટ અને group:artifact:version ને ઇન્સ્ટોલ કરેલ Spark આવૃત્તિ દ્વારા સમર્થિત વિકલ્પો વાપરીને ઇચ્છિત મૂલ્યો સાથે બદલો. Java હોસ્ટનામ અને પોર્ટ અલગ ગુણધર્મો છે. માન્ય જાહેર ડિપેન્ડન્સી ડાઉનલોડ માટે HTTP પ્રોક્સીની યાદી તે ક્ષેત્રો માટે ઉમેદવારો આપે છે.

શેલ ઉપલબ્ધ થાય તે પહેલાં --packages નિષ્ફળ જાય ત્યારે આ સ્થાન વાપરો. પછી દાખલ કરેલ એપ્લિકેશન કોડ પહેલાનું ડાઉનલોડ સુધારી શકતો નથી. Spark લોન્ચ વિકલ્પોને પ્રોગ્રામેટિક સેટિંગ્સથી અલગ પાડે છે; ક્લાયન્ટ મોડમાં એપ્લિકેશન કોડ ચાલે ત્યારે ડ્રાઇવર JVM પહેલેથી હાજર હોય છે.

ડિપ્લોયમેન્ટ મોડ પણ spark.driver.extraJavaOptions માટે મહત્વનો છે: ડ્રાઇવર બીજા મશીન પર ચાલી શકે છે, જેને પ્રોક્સી સુધીનો પોતાનો માર્ગ જોઈએ. એક્ઝિક્યુટરની પછીની API વિનંતી બીજી પ્રક્રિયા અને બીજું નેટવર્ક સ્થાન છે; એક્ઝિક્યુટર્સ ગોઠવવાથી શરૂઆતનું રિઝોલ્યુશન જરૂરી નથી કે ગોઠવાય.

જ્યારે લોન્ચ વિકલ્પો હાજર હોય પણ ડાઉનલોડ નિષ્ફળ જાય

રિપોઝિટરી હોસ્ટનામ, વિનંતીનો પ્રકાર અને પહેલી ભૂલને અનુસરો. મેટાડેટા અને આર્ટિફેક્ટ ઘણા હોસ્ટમાંથી આવી શકે છે. Maven-સુસંગત રિપોઝિટરી URL સાબિત કરતું નથી કે Spark સફળ Maven આદેશ દ્વારા વપરાતું settings.xml વાંચે છે.

Java ડાઉનલોડરે પ્રોક્સી મિકેનિઝમ અને જરૂરી પ્રમાણીકરણને સમર્થન આપવું જોઈએ. હોસ્ટ/પોર્ટ ગુણધર્મો દરેક સ્કીમ આપતા નથી, અને બનાવેલ http.proxyUsername ગુણધર્મ ફક્ત Java નામ સ્વીકારે તેથી અસરકારક બનતું નથી. આ તબક્કાનું નિદાન કરતી વખતે લોન્ચ પહેલાની ગોઠવણી અને ચોક્કસ નિષ્ફળ ડાઉનલોડ સાથે રાખો.