spark-shell نىڭ بوغچا ھەل قىلغۇچىسىغا قوزغىتىش مەزگىلىدە прокسىنى بېرىڭ

--packages ھەل قىلىشتىن بۇرۇن driver JVM پروكسىي خاسلىقلىرىنى تەمىنلەڭ؛ كېيىن كىرگۈزۈلگەن shell كودى ۋە executor تەڭشەكلىرى بۇ چۈشۈرۈشنى ئۆتكۈزۈۋېتىشى مۇمكىن.

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

client تەرەپتە spark-shell قوزغىتىلغاندا بۇ driver JVM تاللانمىلىرى باغلىنىشلىق ھەل قىلىشتىن بۇرۇن كېلىدۇ. مىسالنىڭ ئاخىرقى نۇقتىسى ۋە group:artifact:version نى قوزغىتىلغان Spark نەشرى قوللايدىغان تاللانمىلار بىلەن كۆزلىگەن قىممەتكە ئالماشتۇرۇڭ. Java نىڭ host نامى ۋە پورتى ئايرىم خاسلىقلاردۇر. رۇخسەت قىلىنغان ئاممىۋى باغلىنىشلىق چۈشۈرۈشلىرى ئۈچۈن HTTP پروكسىي تىزىملىكىدىن بۇ ساھەلەرگە نامزات تېپىلىدۇ.

shell بار بولۇشتىن بۇرۇن --packages مەغلۇپ بولسا بۇ ئورۇننى ئىشلىتىڭ. كېيىن كىرگۈزۈلگەن ئەپلىكېسىيە كودى ئىلگىرىكى چۈشۈرۈشنى ئوڭشىيالمايدۇ. Spark قوزغىتىش تاللانمىلىرىنى پروگراممىلىق تەڭشەكلەردىن ئايرىيدۇ؛ client ھالىتىدە ئەپلىكېسىيە كودى ئىجرا بولغاندا driver JVM ئاللىقاچان بار.

ئورۇنلاشتۇرۇش ھالىتىمۇ spark.driver.extraJavaOptions ئۈچۈن مۇھىم: driver باشقا ماشىنىدا ئىجرا بولۇشى مۇمكىن، ئۇنىڭ پروكسىيغا ئۆز يولى كېرەك. executor نىڭ كېيىنكى API تەلىپى باشقا جەريان ۋە باشقا تور ئورنى؛ executors نى سەپلەش قوزغىتىش ھەل قىلىشنى چوقۇم سەپلىمەيدۇ.

قوزغىتىش تاللانمىلىرى بار بولسىمۇ چۈشۈرۈش مەغلۇپ بولغاندا

ئامبار host نامى، تەلەپ تۈرى ۋە تۇنجى خاتالىقنى ئەگىشىڭ. مېتا سانلىق مەلۇمات ۋە artifact لار بىر قانچە host دىن كېلىشى مۇمكىن. Maven غا ماس ئامبار URL ى Spark نىڭ مۇۋەپپەقىيەتلىك Maven بۇيرۇقى ئىشلىتىدىغان settings.xml نى ئوقۇيدىغانلىقىنى ئىسپاتلىمايدۇ.

Java چۈشۈرگۈچ پروكسىي مېخانىزمى ۋە زۆرۈر دەلىللەشنى قوللىشى كېرەك. host/port خاسلىقلىرى ھەر بىر سىخېمىنى تەمىنلىمەيدۇ، ۋە ئويدۇرۇپ چىقىرىلغان http.proxyUsername خاسلىقى پەقەت Java ئىسمنى قوبۇل قىلغانلىقى ئۈچۈن كۈچكە ئەگەشمەيدۇ. بۇ باسقۇچنى دىئاگنوز قىلغاندا قوزغىتىشتىن بۇرۇنقى سەپلىمە بىلەن كونكرېت مەغلۇپ بولغان چۈشۈرۈشنى بىللە ساقلاڭ.

مۇناسىۋەتلىك ماقالىلەر