spark-shell యొక్క ప్యాకేజీ రిజాల్వర్కు ప్రారంభంలోనే దాని ప్రాక్సీ ఇవ్వండి

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

క్లయింట్ వైపు spark-shell ప్రారంభంలో ఈ డ్రైవర్ JVM ఎంపికలు డిపెండెన్సీ రిజల్యూషన్కు ముందు వస్తాయి. ఉదాహరణ ఎండ్పాయింట్ మరియు group:artifact:version ను ఇన్స్టాల్ చేసిన Spark వెర్షన్ మద్దతిచ్చే ఎంపికలను ఉపయోగించి కావలసిన విలువలతో భర్తీ చేయండి. Java హోస్ట్నామ్ మరియు పోర్ట్ వేర్వేరు లక్షణాలు. అనుమతించిన పబ్లిక్ డిపెండెన్సీ డౌన్లోడ్ల కోసం HTTP ప్రాక్సీల జాబితా ఆ ఫీల్డ్లకు అభ్యర్థులను అందిస్తుంది.

shell అందుబాటులోకి రాకముందే --packages విఫలమైతే ఈ స్థానాన్ని ఉపయోగించండి. తర్వాత నమోదు చేసిన అప్లికేషన్ కోడ్ మునుపటి డౌన్లోడ్ను సరిచేయలేదు. Spark ప్రారంభ ఎంపికలను ప్రోగ్రామాటిక్ సెట్టింగ్ల నుండి వేరు చేస్తుంది; క్లయింట్ మోడ్లో అప్లికేషన్ కోడ్ నడిచే సమయానికి డ్రైవర్ JVM ఇప్పటికే ఉంటుంది.

డిప్లాయ్మెంట్ మోడ్ కూడా spark.driver.extraJavaOptions కు ముఖ్యం: డ్రైవర్ మరో మెషీన్లో నడవవచ్చు, దానికి ప్రాక్సీ వరకు దాని స్వంత మార్గం కావాలి. executor యొక్క తర్వాతి API అభ్యర్థన మరో ప్రక్రియ మరియు మరో నెట్వర్క్ స్థానం; executors ను కాన్ఫిగర్ చేయడం ప్రారంభ రిజల్యూషన్ను తప్పనిసరిగా కాన్ఫిగర్ చేయదు.

ప్రారంభ ఎంపికలు ఉన్నా డౌన్లోడ్ విఫలమైనప్పుడు

రిపోజిటరీ హోస్ట్నామ్, అభ్యర్థన రకం మరియు మొదటి లోపాన్ని అనుసరించండి. మెటాడేటా మరియు ఆర్టిఫ్యాక్ట్లు అనేక హోస్ట్ల నుండి రావచ్చు. Maven-అనుకూల రిపోజిటరీ URL విజయవంతమైన Maven ఆదేశం ఉపయోగించే settings.xml ను Spark చదువుతుందని నిరూపించదు.

Java డౌన్లోడర్ ప్రాక్సీ యంత్రాంగాన్ని మరియు అవసరమైన ప్రామాణీకరణను మద్దతిచ్చాలి. హోస్ట్/పోర్ట్ లక్షణాలు ప్రతి స్కీమ్ను అందించవు, మరియు కల్పిత http.proxyUsername లక్షణం Java పేరును అంగీకరించినందుకే ప్రభావవంతం కాదు. ఈ దశను నిర్ధారించేటప్పుడు ప్రారంభానికి ముందు కాన్ఫిగరేషన్ మరియు నిర్దిష్ట విఫలమైన డౌన్లోడ్ను కలిపి ఉంచండి.