spark-shell ನ ಪ್ಯಾಕೇಜ್ ರಿಜಾಲ್ವರ್ಗೆ ಲಾಂಚ್ನಲ್ಲಿ ಅದರ ಪ್ರಾಕ್ಸಿ ನೀಡಿ

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

ಕ್ಲೈಂಟ್-ಸೈಡ್ spark-shell ಲಾಂಚ್ನಲ್ಲಿ ಈ ಡ್ರೈವರ್ JVM ಆಯ್ಕೆಗಳು ಅವಲಂಬನೆ ರಿಜಲ್ಯೂಶನ್ಗೆ ಮೊದಲು ಬರುತ್ತವೆ. ಉದಾಹರಣೆಯ ಎಂಡ್ಪಾಯಿಂಟ್ ಮತ್ತು group:artifact:version ಅನ್ನು ಸ್ಥಾಪಿಸಿದ Spark ಆವೃತ್ತಿ ಬೆಂಬಲಿಸುವ ಆಯ್ಕೆಗಳನ್ನು ಬಳಸಿ ಉದ್ದೇಶಿತ ಮೌಲ್ಯಗಳಿಂದ ಬದಲಾಯಿಸಿ. Java ಹೋಸ್ಟ್ನಾಮ್ ಮತ್ತು ಪೋರ್ಟ್ ಪ್ರತ್ಯೇಕ ಗುಣಲಕ್ಷಣಗಳು. ಅನುಮತಿಸಲಾದ ಸಾರ್ವಜನಿಕ ಅವಲಂಬನೆ ಡೌನ್ಲೋಡ್ಗಳಿಗೆ HTTP ಪ್ರಾಕ್ಸಿಗಳ ಪಟ್ಟಿ ಆ ಕ್ಷೇತ್ರಗಳಿಗೆ ಅಭ್ಯರ್ಥಿಗಳನ್ನು ನೀಡುತ್ತದೆ.

ಶೆಲ್ ಲಭ್ಯವಾಗುವ ಮೊದಲೇ --packages ವಿಫಲವಾದಾಗ ಈ ಸ್ಥಾನವನ್ನು ಬಳಸಿ. ನಂತರ ನಮೂದಿಸಿದ ಅಪ್ಲಿಕೇಶನ್ ಕೋಡ್ ಹಿಂದಿನ ಡೌನ್ಲೋಡ್ ಸರಿಪಡಿಸಲಾಗದು. Spark ಲಾಂಚ್ ಆಯ್ಕೆಗಳನ್ನು ಪ್ರೋಗ್ರಾಮ್ಯಾಟಿಕ್ ಸೆಟ್ಟಿಂಗ್ಗಳಿಂದ ಪ್ರತ್ಯೇಕಿಸುತ್ತದೆ; ಕ್ಲೈಂಟ್ ಮೋಡ್ನಲ್ಲಿ ಅಪ್ಲಿಕೇಶನ್ ಕೋಡ್ ಚಲಿಸುವಾಗ ಡ್ರೈವರ್ JVM ಈಗಾಗಲೇ ಇರುತ್ತದೆ.

ಡಿಪ್ಲಾಯ್ಮೆಂಟ್ ಮೋಡ್ ಕೂಡ spark.driver.extraJavaOptions ಗೆ ಮುಖ್ಯ: ಡ್ರೈವರ್ ಬೇರೆ ಯಂತ್ರದಲ್ಲಿ ಚಲಿಸಬಹುದು, ಅದಕ್ಕೆ ಪ್ರಾಕ್ಸಿಗೆ ತನ್ನದೇ ದಾರಿ ಬೇಕು. executor ನ ನಂತರದ API ವಿನಂತಿ ಬೇರೆ ಪ್ರಕ್ರಿಯೆ ಮತ್ತು ಬೇರೆ ನೆಟ್ವರ್ಕ್ ಸ್ಥಳ; executor ಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡುವುದು ಸ್ಟಾರ್ಟಪ್ ರಿಜಲ್ಯೂಶನ್ ಅನ್ನು ಕಡ್ಡಾಯವಾಗಿ ಕಾನ್ಫಿಗರ್ ಮಾಡುವುದಿಲ್ಲ.

ಲಾಂಚ್ ಆಯ್ಕೆಗಳಿದ್ದರೂ ಡೌನ್ಲೋಡ್ ವಿಫಲವಾದಾಗ

ರಿಪೊಸಿಟರಿ ಹೋಸ್ಟ್ನಾಮ್, ವಿನಂತಿ ಪ್ರಕಾರ ಮತ್ತು ಮೊದಲ ದೋಷವನ್ನು ಅನುಸರಿಸಿ. ಮೆಟಾಡೇಟಾ ಮತ್ತು ಆರ್ಟಿಫ್ಯಾಕ್ಟ್ಗಳು ಹಲವು ಹೋಸ್ಟ್ಗಳಿಂದ ಬರಬಹುದು. Maven-ಹೊಂದಾಣಿಕೆಯ ರಿಪೊಸಿಟರಿ URL ಯಶಸ್ವಿ Maven ಆದೇಶ ಬಳಸುವ settings.xml ಅನ್ನು Spark ಓದುತ್ತದೆ ಎಂದು ಸಾಬೀತುಪಡಿಸುವುದಿಲ್ಲ.

Java ಡೌನ್ಲೋಡರ್ ಪ್ರಾಕ್ಸಿ ಕಾರ್ಯವಿಧಾನ ಮತ್ತು ಅಗತ್ಯ ದೃಢೀಕರಣವನ್ನು ಬೆಂಬಲಿಸಬೇಕು. ಹೋಸ್ಟ್/ಪೋರ್ಟ್ ಗುಣಲಕ್ಷಣಗಳು ಪ್ರತಿ ಸ್ಕೀಮ್ ನೀಡುವುದಿಲ್ಲ, ಮತ್ತು ಕಲ್ಪಿತ http.proxyUsername ಗುಣಲಕ್ಷಣ Java ಹೆಸರನ್ನು ಸ್ವೀಕರಿಸಿದರೆ ಮಾತ್ರ ಪರಿಣಾಮಕಾರಿಯಾಗುವುದಿಲ್ಲ. ಈ ಹಂತವನ್ನು ವಿಶ್ಲೇಷಿಸುವಾಗ ಲಾಂಚ್-ಪೂರ್ವ ಕಾನ್ಫಿಗರೇಶನ್ ಮತ್ತು ನಿರ್ದಿಷ್ಟ ವಿಫಲ ಡೌನ್ಲೋಡ್ ಅನ್ನು ಒಟ್ಟಿಗೆ ಇರಿಸಿ.