Fún spark-shell package resolver proxy rẹ̀ ní ìgbà ìfilọ́lẹ̀

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

Nígbà tí o bá ń fi spark-shell ṣiṣẹ́ ní ẹ̀gbẹ́ client, àwọn àṣàyàn JVM driver wọ̀nyí máa ń dé ṣáájú ìyọ́nbá dependency. Rọ́pò ìparí àpẹẹrẹ àti group:artifact:version pẹ̀lú àwọn iye tí o fẹ́ nípa lílo àwọn àṣàyàn tí ẹ̀dà Spark tí a fi sórí ẹ̀rọ ń ṣètìlẹ́yìn fún. Orúkọ host àti port Java jẹ́ ẹ̀yà ọ̀tọ̀ọ̀tọ̀. Fún àwọn ìgbàsílẹ̀ dependency gbangba tí a gbà láàyè, àkójọ proxy HTTP ń pèsè àwọn olùdíje fún àwọn pápá yẹn.

Lo ipò yìí nígbà tí --packages bá kùnà ṣáájú kí shell tó wà. Kóòdù application tí a tẹ̀ sí í lẹ́yìn kò lè tún ìgbàsílẹ̀ àkọ́kọ́ ṣe. Spark yà àwọn àṣàyàn ìfilọ́lẹ̀ sọ́tọ̀ kúrò nínú àwọn ètò programmatic; ní ipò client JVM driver ti wà tẹ́lẹ̀ nígbà tí kóòdù application ń ṣiṣẹ́.

Ipò ìtẹ̀sí náà tún ṣe pàtàkì fún spark.driver.extraJavaOptions: driver lè ṣiṣẹ́ lórí ẹ̀rọ mìíràn, tí ó nílò ọ̀nà rẹ̀ fúnra rẹ̀ sí proxy. Ìbéèrè API lẹ́yìn ti executor jẹ́ ìlànà àti ibi nẹ́tíwọ́kì mìíràn; ṣíṣe ètò executors kò ní ìdánilójú pé yóò ṣe ètò ìyọ́nbá ìbẹ̀rẹ̀.

Nígbà tí àwọn àṣàyàn ìfilọ́lẹ̀ wà ṣùgbọ́n ìgbàsílẹ̀ kùnà

Tẹ̀lé orúkọ host ilé ìkójọ, irú ìbéèrè àti àṣìṣe àkọ́kọ́. Metadata àti artifact lè wá láti ọ̀pọ̀ host. URL ilé ìkójọ tí ó bá Maven mu kò fi hàn pé Spark ń kà settings.xml tí àṣẹ Maven tí ó ṣàṣeyọrí ń lò.

Ẹ̀rọ ìgbàsílẹ̀ Java gbọ́dọ̀ ṣètìlẹ́yìn fún ẹ̀rọ proxy àti ìjẹ́rìí tí ó pọn dandan. Àwọn ẹ̀yà host/port kò pèsè gbogbo ètò-ìlànà, àti ẹ̀yà http.proxyUsername tí a hùmọ̀ kò di aláṣẹ́ nítorí pé Java kan gba orúkọ náà. Pa ètò ṣáájú ìfilọ́lẹ̀ àti ìgbàsílẹ̀ tí ó kùnà pẹ̀lú ara wọn mọ́ nígbà tí o ń ṣàyẹ̀wò ìpele yìí.