spark-shell-இன் தொகுப்பு தீர்வியலுக்கு தொடக்கத்திலேயே அதன் ப்ராக்ஸியைக் கொடுங்கள்

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

வாடிக்கையாளர் பக்க spark-shell தொடக்கத்தில் இந்த இயக்கி JVM விருப்பங்கள் சார்புத் தீர்வுக்கு முன் வரும். எடுத்துக்காட்டு முனைப்புள்ளியையும் group:artifact:version ஐயும் நிறுவப்பட்ட Spark பதிப்பு ஆதரிக்கும் விருப்பங்களைப் பயன்படுத்தி விரும்பிய மதிப்புகளுடன் மாற்றுங்கள். Java ஹோஸ்ட்பெயரும் போர்ட்டும் தனித்தனி பண்புகள். அனுமதிக்கப்பட்ட பொது சார்புப் பதிவிறக்கங்களுக்கு HTTP ப்ராக்ஸி பட்டியலிலிருந்து அந்தப் புலங்களுக்கான வேட்பாளர்கள் கிடைக்கும்.

shell கிடைக்கும் முன் --packages தோல்வியடைந்தால் இந்த இடத்தைப் பயன்படுத்துங்கள். பின்னர் உள்ளிடப்படும் பயன்பாட்டுக் குறியீடு முந்தைய பதிவிறக்கத்தைச் சரிசெய்ய முடியாது. Spark தொடக்க விருப்பங்களை நிரலாக்க அமைப்புகளிலிருந்து வேறுபடுத்துகிறது; வாடிக்கையாளர் பயன்முறையில் பயன்பாட்டுக் குறியீடு இயங்கும் போது இயக்கி JVM ஏற்கனவே உள்ளது.

வரிசைப்படுத்தல் பயன்முறையும் spark.driver.extraJavaOptions க்கு முக்கியம்: இயக்கி வேறொரு இயந்திரத்தில் இயங்கலாம், அதற்குப் ப்ராக்ஸிக்கு அதன் சொந்தப் பாதை தேவை. executor இன் பிந்தைய API கோரிக்கை வேறொரு செயல்முறையும் வேறொரு பிணைய இருப்பிடமும் ஆகும்; executors ஐ அமைப்பது தொடக்கத் தீர்வைக் கட்டாயம் அமைக்காது.

தொடக்க விருப்பங்கள் இருந்தும் பதிவிறக்கம் தோல்வியடையும் போது

களஞ்சிய ஹோஸ்ட்பெயர், கோரிக்கை வகை, முதல் பிழையைப் பின்தொடருங்கள். மெட்டாடேட்டாவும் கலைப்பொருட்களும் பல ஹோஸ்ட்களிலிருந்து வரலாம். Maven-இணக்கமான களஞ்சிய URL வெற்றிகரமான Maven கட்டளை பயன்படுத்தும் settings.xml ஐ Spark படிக்கிறது என்பதை நிரூபிக்காது.

Java பதிவிறக்கி ப்ராக்ஸி பொறிமுறையையும் தேவையான அங்கீகாரத்தையும் ஆதரிக்க வேண்டும். ஹோஸ்ட்/போர்ட் பண்புகள் ஒவ்வொரு திட்டத்தையும் வழங்காது, மேலும் கற்பனையாக உருவாக்கப்பட்ட http.proxyUsername பண்பு Java பெயரை ஏற்றுக்கொள்வதால் மட்டும் பயனுள்ளதாகாது. இந்தக் கட்டத்தைக் கண்டறியும்போது தொடக்கத்திற்கு முந்தைய உள்ளமைவையும் குறிப்பிட்ட தோல்வியடைந்த பதிவிறக்கத்தையும் ஒன்றாக வைத்திருங்கள்.