spark-shell ਦੇ ਪੈਕੇਜ ਰਿਜ਼ਾਲਵਰ ਨੂੰ ਲਾਂਚ ਸਮੇਂ ਇਸਦਾ ਪ੍ਰਾਕਸੀ ਦਿਓ

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

ਕਲਾਇੰਟ-ਸਾਈਡ spark-shell ਲਾਂਚ ’ਤੇ ਇਹ ਡਰਾਈਵਰ JVM ਵਿਕਲਪ ਨਿਰਭਰਤਾ ਰਿਜ਼ੋਲਿਊਸ਼ਨ ਤੋਂ ਪਹਿਲਾਂ ਆਉਂਦੇ ਹਨ। ਉਦਾਹਰਨ ਐਂਡਪੁਆਇੰਟ ਅਤੇ group:artifact:version ਨੂੰ ਇੰਸਟਾਲ ਕੀਤੇ Spark ਸੰਸਕਰਣ ਦੁਆਰਾ ਸਮਰਥਿਤ ਵਿਕਲਪਾਂ ਨਾਲ ਲੋੜੀਂਦੇ ਮੁੱਲਾਂ ਨਾਲ ਬਦਲੋ। Java ਹੋਸਟਨਾਮ ਅਤੇ ਪੋਰਟ ਵੱਖਰੇ ਗੁਣ ਹਨ। ਮਨਜ਼ੂਰਸ਼ੁਦਾ ਜਨਤਕ ਨਿਰਭਰਤਾ ਡਾਊਨਲੋਡ ਲਈ HTTP ਪ੍ਰਾਕਸੀ ਸੂਚੀ ਉਨ੍ਹਾਂ ਖੇਤਰਾਂ ਲਈ ਉਮੀਦਵਾਰ ਦਿੰਦੀ ਹੈ।

ਇਹ ਸਥਾਨ ਵਰਤੋ ਜਦੋਂ shell ਉਪਲਬਧ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ --packages ਫੇਲ ਹੋ ਜਾਵੇ। ਬਾਅਦ ਵਿੱਚ ਦਾਖਲ ਕੀਤਾ ਐਪਲੀਕੇਸ਼ਨ ਕੋਡ ਪਿਛਲਾ ਡਾਊਨਲੋਡ ਠੀਕ ਨਹੀਂ ਕਰ ਸਕਦਾ। Spark ਲਾਂਚ ਵਿਕਲਪਾਂ ਨੂੰ ਪ੍ਰੋਗਰਾਮੈਟਿਕ ਸੈਟਿੰਗਾਂ ਤੋਂ ਵੱਖ ਰੱਖਦਾ ਹੈ; ਕਲਾਇੰਟ ਮੋਡ ਵਿੱਚ ਐਪਲੀਕੇਸ਼ਨ ਕੋਡ ਚੱਲਣ ਵੇਲੇ ਡਰਾਈਵਰ JVM ਪਹਿਲਾਂ ਹੀ ਹੁੰਦਾ ਹੈ।

ਡਿਪਲਾਇਮੈਂਟ ਮੋਡ ਵੀ spark.driver.extraJavaOptions ਲਈ ਜ਼ਰੂਰੀ ਹੈ: ਡਰਾਈਵਰ ਕਿਸੇ ਹੋਰ ਮਸ਼ੀਨ ’ਤੇ ਚੱਲ ਸਕਦਾ ਹੈ, ਜਿਸਨੂੰ ਪ੍ਰਾਕਸੀ ਤੱਕ ਆਪਣਾ ਰਾਹ ਚਾਹੀਦਾ ਹੈ। executor ਦੀ ਬਾਅਦ ਦੀ API ਬੇਨਤੀ ਹੋਰ ਪ੍ਰਕਿਰਿਆ ਅਤੇ ਹੋਰ ਨੈੱਟਵਰਕ ਟਿਕਾਣਾ ਹੈ; executors ਸੰਰਚਿਤ ਕਰਨ ਨਾਲ ਸਟਾਰਟਅੱਪ ਰਿਜ਼ੋਲਿਊਸ਼ਨ ਜ਼ਰੂਰੀ ਨਹੀਂ ਸੰਰਚਿਤ ਹੁੰਦਾ।

ਜਦੋਂ ਲਾਂਚ ਵਿਕਲਪ ਹਨ ਪਰ ਡਾਊਨਲੋਡ ਫੇਲ ਹੁੰਦਾ ਹੈ

ਰਿਪੋਜ਼ਟਰੀ ਹੋਸਟਨਾਮ, ਬੇਨਤੀ ਕਿਸਮ ਅਤੇ ਪਹਿਲੀ ਗਲਤੀ ਦੀ ਪਾਲਣਾ ਕਰੋ। ਮੈਟਾਡੇਟਾ ਅਤੇ ਆਰਟੀਫੈਕਟ ਕਈ ਹੋਸਟਾਂ ਤੋਂ ਆ ਸਕਦੇ ਹਨ। Maven-ਅਨੁਕੂਲ ਰਿਪੋਜ਼ਟਰੀ URL ਸਾਬਤ ਨਹੀਂ ਕਰਦਾ ਕਿ Spark ਸਫਲ Maven ਕਮਾਂਡ ਵੱਲੋਂ ਵਰਤਿਆ settings.xml ਪੜ੍ਹਦਾ ਹੈ।

Java ਡਾਊਨਲੋਡਰ ਨੂੰ ਪ੍ਰਾਕਸੀ ਵਿਧੀ ਅਤੇ ਲੋੜੀਂਦੀ ਪ੍ਰਮਾਣਿਕਤਾ ਦਾ ਸਮਰਥਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਹੋਸਟ/ਪੋਰਟ ਗੁਣ ਹਰ ਸਕੀਮ ਨਹੀਂ ਦਿੰਦੇ, ਅਤੇ ਬਣਾਇਆ ਹੋਇਆ http.proxyUsername ਗੁਣ ਸਿਰਫ਼ ਇਸ ਲਈ ਪ੍ਰਭਾਵੀ ਨਹੀਂ ਹੁੰਦਾ ਕਿ Java ਨਾਮ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ। ਇਸ ਪੜਾਅ ਦਾ ਨਿਦਾਨ ਕਰਦੇ ਸਮੇਂ ਲਾਂਚ-ਪੂਰਵ ਸੰਰਚਨਾ ਅਤੇ ਖਾਸ ਫੇਲ ਹੋਇਆ ਡਾਊਨਲੋਡ ਇਕੱਠੇ ਰੱਖੋ।