spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

در راه‌اندازی spark-shell از سمت کلاینت، این گزینه‌های JVM درایور پیش از حل وابستگی‌ها می‌رسند. نقطهٔ پایانی نمونه و group:artifact:version را با مقادیر موردنظر و با گزینه‌هایی که نسخهٔ نصب‌شدهٔ Spark پشتیبانی می‌کند جایگزین کنید. نام میزبان و درگاه Java دو ویژگی جداگانه‌اند. برای دانلودهای مجاز وابستگی‌های عمومی، فهرست پروکسی‌های HTTP نامزدهایی برای این فیلدها پیشنهاد می‌کند.

این جای‌گذاری را زمانی به کار ببرید که --packages پیش از در دسترس شدن پوسته شکست می‌خورد. کد برنامه‌ای که بعداً وارد شود نمی‌تواند دانلود پیشین را ترمیم کند. Spark گزینه‌های راه‌اندازی را از تنظیمات برنامه‌نویسی جدا می‌کند؛ در حالت کلاینت، JVM درایور تا زمانی که کد برنامه اجرا می‌شود از قبل وجود دارد.

حالت استقرار هم برای spark.driver.extraJavaOptions مهم است: درایور می‌تواند روی ماشین دیگری اجرا شود که مسیر خودش را به پروکسی لازم دارد. درخواست API بعدی یک executor فرایند و مکان شبکه‌ای دیگری است؛ پیکربندی executorها لزوماً حل زمان راه‌اندازی را پیکربندی نمی‌کند.

وقتی گزینه‌های راه‌اندازی هست اما دانلود شکست می‌خورد

نام میزبان مخزن، نوع درخواست و نخستین خطا را دنبال کنید. فراداده‌ها و مصنوعات می‌توانند از چند میزبان بیایند. نشانی مخزن سازگار با Maven ثابت نمی‌کند که Spark settings.xml را که یک فرمان موفق Maven به کار می‌برد می‌خواند.

دانلودکنندهٔ Java باید سازوکار پروکسی و احراز هویت لازم را پشتیبانی کند. ویژگی‌های میزبان/درگاه همهٔ طرح‌ها را فراهم نمی‌کنند و یک ویژگی http.proxyUsername ساختگی فقط به این دلیل که Java نام را می‌پذیرد مؤثر نمی‌شود. هنگام عیب‌یابی این مرحله، پیکربندی پیش از شروع و دانلود ناموفق مشخص را کنار هم نگه دارید.

مقالات مرتبط