גיט דער פּעקל-אויפֿלעזער פֿון spark-shell זײַן פּראָקסי בײַם אָנהייב

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

בײַ אַ קליענט-זײַטיקן אָנהייב פֿון spark-shell קומען די JVM אָפּציעס פֿון דעם דרײַווער פֿאַר דער אויפֿלעזונג פֿון אָפּהענגיקייטן. פֿאַרבייַט דעם ביישפּיל-ענדפּונקט און group:artifact:version מיט די געוווּנטשענע ווערטן, ניצנדיק אָפּציעס וואָס די אינסטאַלירטע Spark ווערסיע שטיצט. דער Java האָסטנאָמען און פּאָרט זענען באַזונדערע אייגנשאַפֿטן. פֿאַר דערלויבטע עפֿנטלעכע אָפּהענגיקייט אראפּלאָדונגען פֿאָרשטייט די ליסטע פֿון HTTP־פּראָקסיס קאַנדידאַטן פֿאַר די פֿעלדער.

ניצט דעם אָרט ווען --packages פֿאַרפעלט פֿאַר דער shell ווערט פֿאַראַן. אַפּליקאַציע קאָד וואָס ווערט אַרײַנגעשריבן שפּעטער קען נישט רעפּאַרירן די פֿריִערדיקע אראפּלאָדונג. Spark פֿאַרשײדנט אָנהייב-אָפּציעס פֿון פּראָגראַמאַטישע איינשטעלונגען; אין קליענט מאָדוס עקסיסטירט די דרײַווער-JVM שוין ווען אַפּליקאַציע קאָד לויפֿט.

דער פּריסה-מאָדוס איז אויך וויכטיק פֿאַר spark.driver.extraJavaOptions: דער דרײַווער קען לויפֿן אויף אַן אַנדער מאשין, וואָס דאַרפֿט איר אייגענעם וועג צום פּראָקסי. אַ שפּעטערדיקע API פֿאָרלענג פֿון אַן executor איז אַן אַנדער פּראָצעס און אַן אַנדער נעצווערק-אָרט; קאָנפֿיגורירן executors קאָנפֿיגורירט נישט פּליכט די אָנהייב-אויפֿלעזונג.

ווען אָנהייב-אָפּציעס זענען פֿאַראַן אָבער די אראפּלאָדונג פֿאַרפעלט

פֿאָלגט נאָך דעם האָסטנאָמען פֿון דער אוצרות-הויז, דעם פֿאָרלענג-טיפּ און דעם ערשטן פֿעלער. מעטאַ-דאַטן און אַרטעפֿאַקטן קענען קומען פֿון עטלעכע האָסטן. אַ Maven-פּאַסיקע אוצרות URL באַווײַזט נישט אַז Spark לייענט די settings.xml וואָס אַ געראָטענע Maven קאָמאַנדע ניצט.

דער Java אַראָפּלאָדער מוז שטיצן דעם פּראָקסי-מעכאַניזם און די פֿאָדערלעכע אויטענטיפֿיקאַציע. האָסט/פּאָרט אייגנשאַפֿטן צושטעלן נישט יעדע סכעמע, און אַ דערפֿונדענע http.proxyUsername אייגנשאַפֿט ווערט נישט ווירקזאַם בלויז ווײַל Java אַקסעפּטירט דעם נאָמען. האַלט צוזאַמען די פֿאַר-אָנהייב קאָנפֿיגוראַציע און די ספּעציפֿישע פֿאַרפֿעלעוועטע אראפּלאָדונג בײַם דיאַגנאָזירן דעם שלב.