spark-shell හි පැකේජ විසඳුම්කරුට දියත් කිරීමේදී එහි proxy ලබා දෙන්න
--packages විසඳීමට පෙර driver JVM proxy ගුණාංග සපයන්න; පසුව ඇතුළත් කරන shell කේතය සහ executor සැකසුම් එම බාගැනීම මඟ හැරිය හැක.
spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:versionසේවාලාභී පැත්තේ spark-shell දියත් කිරීමේදී මෙම driver JVM විකල්ප යැපුම් විසඳීමට පෙර පැමිණේ. උදාහරණ අන්ත ලක්ෂ්‍යය සහ group:artifact:version ස්ථාපිත Spark අනුවාදය අනුග්‍රහය දක්වන විකල්ප භාවිතයෙන් අපේක්ෂිත අගයන්ට වෙනස් කරන්න. Java සත්කාරක නාමය සහ තොට වෙන වෙනම ගුණාංග වේ. අනුමත පොදු යැපුම් බාගැනීම් සඳහා HTTP ප්‍රොක්සි ලැයිස්තුවෙන් එම ක්ෂේත්‍ර සඳහා අපේක්ෂකයින් ලබා දේ.
shell ලබා ගත හැකි වීමට පෙර --packages අසාර්ථක වූ විට මෙම ස්ථානය භාවිත කරන්න. පසුව ඇතුළත් කරන යෙදුම් කේතයට පෙර බාගැනීම නිවැරදි කළ නොහැක. Spark දියත් කිරීමේ විකල්ප වැඩසටහන් සැකසුම්වලින් වෙන් කරයි; සේවාලාභී මාදිලියේ යෙදුම් කේතය ක්‍රියාත්මක වන විට driver JVM දැනටමත් පවතී.
යෙදවීම් මාදිලියද spark.driver.extraJavaOptions සඳහා වැදගත් වේ: driver තවත් යන්ත්‍රයක ක්‍රියාත්මක විය හැක, එයට proxy වෙත තමන්ගේම මාර්ගයක් අවශ්‍යය. executor හි පසු API ඉල්ලීම වෙනත් ක්‍රියාවලියක් සහ වෙනත් ජාල ස්ථානයකි; executors වින්‍යාස කිරීමෙන් දියත් කිරීමේ විසඳීම අනිවාර්යයෙන් වින්‍යාස නොවේ.
දියත් කිරීමේ විකල්ප තිබියදීත් බාගැනීම අසාර්ථක වූ විට
ගබඩා සත්කාරක නාමය, ඉල්ලීම් වර්ගය සහ පළමු දෝෂය අනුගමනය කරන්න. මෙටාදත්ත සහ කෘති සත්කාරක කිහිපයකින් පැමිණිය හැක. Maven-අනුකූල ගබඩා URL එකක් සාර්ථක Maven විධානයක් භාවිත කරන settings.xml Spark කියවන බව ඔප්පු නොකරයි.
Java බාගන්නා මෙවලම proxy යාන්ත්‍රණය සහ අවශ්‍ය සත්‍යාපනය අනුග්‍රහය දැක්විය යුතුය. සත්කාරක/තොට ගුණාංග සෑම ක්‍රමයක්ම සපයන්නේ නැත, සහ Java නාමය පිළිගන්නා නිසා පමණක් නිර්මාණය කළ http.proxyUsername ගුණාංගය ඵලදායී නොවේ. මෙම අදියර විනිශ්චය කරන විට දියත් කිරීමට පෙර වින්‍යාසය සහ නිශ්චිත අසාර්ථක බාගැනීම එකට තබා ගන්න.