ለ spark-shell የጥቅል መፍታቻውን ፕሮክሲ በሚነሳበት ጊዜ ይስጡት

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

በደንበኛ በኩል ለሚነሳ spark-shell እነዚህ የ driver JVM አማራጮች ከጥገኝነት መፍታት በፊት ይደርሳሉ። ምሳሌውን የሚያገለግለውን መጨረሻ ነጥብና group:artifact:version በተጭነው Spark ስሪት በሚደገፉ አማራጮች በመጠቀም በተፈለገው እሴት ይተኩ። የ Java አስተናጋጅ ስምና ወደብ የተለያዩ ባህሪያት ናቸው። ለተፈቀዱ የሕዝብ ጥገኝነት ማውረዶች HTTP ፕሮክሲ ዝርዝር ለእነዚያ መስኮች እጩዎችን ያቀርባል።

ይህን አቀማመጥ የ shell ከመገኘቱ በፊት --packages ሲወድቅ ይጠቀሙ። በኋላ የሚገባ የመተግበሪያ ኮድ ቀደም ሲል የተደረገውን ማውረድ ማስተካከል አይችልም። Spark የማስነሻ አማራጮችን ከፕሮግራማዊ ቅንብሮች ይለያል፤ በደንበኛ ሁነታ የ driver JVM የመተግበሪያ ኮድ ሲሮጥ አስቀድሞ አለ።

የማሰማራት ሁነታም ለ spark.driver.extraJavaOptions ጠቃሚ ነው፦ driver በሌላ ማሽን ላይ ሊሮጥ ይችላል፤ ይህም የራሱ የፕሮክሲ መንገድ ይፈልጋል። የ executor በኋላ የሚደረግ API ጥያቄ ሌላ ሂደትና የአውታረ መረብ ቦታ ነው፤ executors ማዋቀር የማስነሻ መፍታትን የግድ አያዋቅርም።

የማስነሻ አማራጮች ሲኖሩ ግን ማውረዱ ሲወድቅ

የመጋዘኑን አስተናጋጅ ስም፣ የጥያቄውን ዓይነትና የመጀመሪያውን ስህተት ይከተሉ። ሜታዳታና አርቲፋክቶች ከበርካታ አስተናጋጆች ሊመጡ ይችላሉ። Maven-አስተኳሽ የመጋዘን URL ማለት Spark የተሳካ የ Maven ትዕዛዝ የሚጠቀመውን settings.xml ያነባል ማለት አይደለም።

የ Java ማውሪያ የፕሮክሲ ዘዴውንና የሚያስፈልገውን ማረጋገጫ መደገፍ አለበት። የአስተናጋጅ/ወደብ ባህሪያት ሁሉንም ዓይነት አይሰጡም፤ የተፈጠረ http.proxyUsername ባህሪ Java ስሙን ስለተቀበለ ብቻ ውጤታማ አይሆንም። ይህን ደረጃ ሲመረምሩ የቅድመ-ስታርት ማስነሻ ውቅሩንና የተለየውን ያልተሳካ ማውረድ አንድ ላይ ያስቀምጡ።