spark-shell-ന്റെ പാക്കേജ് റിസോൾവറിന് ലോഞ്ചിൽ അതിന്റെ പ്രോക്സി നൽകുക

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

ക്ലയന്റ് വശത്തുള്ള spark-shell ലോഞ്ചിൽ ഈ ഡ്രൈവർ JVM ഓപ്ഷനുകൾ ആശ്രിതത്വ റെസല്യൂഷന് മുമ്പ് എത്തുന്നു. ഉദാഹരണ എൻഡ്പോയിന്റും group:artifact:version ഇൻസ്റ്റാൾ ചെയ്ത Spark പതിപ്പ് പിന്തുണയ്ക്കുന്ന ഓപ്ഷനുകൾ ഉപയോഗിച്ച് ഉദ്ദേശിച്ച മൂല്യങ്ങളാക്കി മാറ്റുക. Java ഹോസ്റ്റ്നെയിമും പോർട്ടും വെവ്വേറെ സവിശേഷതകളാണ്. അനുവദിച്ച പൊതു ആശ്രിതത്വ ഡൗൺലോഡുകൾക്ക് HTTP പ്രോക്സി പട്ടിക ആ ഫീൽഡുകൾക്ക് സ്ഥാനാർത്ഥികൾ നൽകുന്നു.

ഷെൽ ലഭ്യമാകുന്നതിന് മുമ്പ് --packages പരാജയപ്പെടുമ്പോൾ ഈ സ്ഥാനം ഉപയോഗിക്കുക. പിന്നീട് നൽകുന്ന അപ്ലിക്കേഷൻ കോഡിന് മുൻ ഡൗൺലോഡ് പരിഹരിക്കാനാവില്ല. Spark ലോഞ്ച് ഓപ്ഷനുകളെ പ്രോഗ്രാമാറ്റിക് ക്രമീകരണങ്ങളിൽ നിന്ന് വേർതിരിക്കുന്നു; ക്ലയന്റ് മോഡിൽ അപ്ലിക്കേഷൻ കോഡ് പ്രവർത്തിക്കുമ്പോൾ ഡ്രൈവർ JVM ഇതിനകം നിലവിലുണ്ട്.

വിന്യാസ മോഡും spark.driver.extraJavaOptions ന് പ്രധാനമാണ്: ഡ്രൈവർ മറ്റൊരു യന്ത്രത്തിൽ പ്രവർത്തിക്കാം, അതിന് പ്രോക്സിയിലേക്ക് സ്വന്തം വഴി വേണം. executor-ന്റെ പിന്നീടുള്ള API അഭ്യർത്ഥന മറ്റൊരു പ്രക്രിയയും മറ്റൊരു നെറ്റ്വർക്ക് സ്ഥാനവുമാണ്; executors ക്രമീകരിക്കുന്നത് സ്റ്റാർട്ടപ്പ് റെസല്യൂഷൻ നിർബന്ധമായും ക്രമീകരിക്കുന്നില്ല.

ലോഞ്ച് ഓപ്ഷനുകൾ ഉണ്ടെങ്കിലും ഡൗൺലോഡ് പരാജയപ്പെടുമ്പോൾ

റിപ്പോസിറ്ററി ഹോസ്റ്റ്നെയിം, അഭ്യർത്ഥന തരം, ആദ്യ പിശക് എന്നിവ പിന്തുടരുക. മെറ്റാഡാറ്റയും ആർട്ടിഫാക്റ്റുകളും പല ഹോസ്റ്റുകളിൽ നിന്ന് വരാം. Maven-നോട് പൊരുത്തപ്പെടുന്ന റിപ്പോസിറ്ററി URL വിജയകരമായ Maven കമാൻഡ് ഉപയോഗിക്കുന്ന settings.xml Spark വായിക്കുന്നു എന്ന് തെളിയിക്കുന്നില്ല.

Java ഡൗൺലോഡർ പ്രോക്സി സംവിധാനവും ആവശ്യമായ പ്രാമാണീകരണവും പിന്തുണയ്ക്കണം. ഹോസ്റ്റ്/പോർട്ട് സവിശേഷതകൾ എല്ലാ സ്കീമുകളും നൽകുന്നില്ല, കൂടാതെ കെട്ടിച്ചമച്ച http.proxyUsername സവിശേഷത Java പേര് സ്വീകരിക്കുന്നത് കൊണ്ട് മാത്രം ഫലപ്രദമാകുന്നില്ല. ഈ ഘട്ടം രോഗനിർണയം ചെയ്യുമ്പോൾ ലോഞ്ചിന് മുമ്പുള്ള കോൺഫിഗറേഷനും പരാജയപ്പെട്ട നിർദ്ദിഷ്ട ഡൗൺലോഡും ഒരുമിച്ച് സൂക്ഷിക്കുക.