ផ្ដល់ proxy ដល់អ្នកដោះស្រាយកញ្ចប់របស់ spark-shell នៅពេលបើក

spark-shell --driver-java-options "-Dhttp.proxyHost=proxy.example -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example -Dhttps.proxyPort=8080" --packages group:artifact:version

នៅពេលបើក spark-shell ពីខាង client ជម្រើស JVM ទាំងនេះរបស់ driver មកដល់មុនការដោះស្រាយភាពអាស្រ័យ។ ជំនួសចំណុចបញ្ចប់ជាឧទាហរណ៍ និង group:artifact:version ដោយតម្លៃដែលចង់បាន ដោយប្រើជម្រើសដែលជំនាន់ Spark ដែលបានដំឡើងគាំទ្រ។ ឈ្មោះ host និង port របស់ Java គឺជាលក្ខណៈដាច់ដោយឡែក។ សម្រាប់ការទាញយកភាពអាស្រ័យសាធារណៈដែលបានអនុញ្ញាត បញ្ជីប្រូកស៊ី HTTP ផ្ដល់បេក្ខជនសម្រាប់វាលទាំងនោះ។

ប្រើទីតាំងនេះនៅពេល --packages បរាជ័យមុនពេល shell អាចប្រើបាន។ កូដកម្មវិធីដែលបញ្ចូលក្រោយមកមិនអាចជួសជុលការទាញយកមុនបានទេ។ Spark បែងចែកជម្រើសបើកដំណើរការពីការកំណត់តាមកម្មវិធី; ក្នុងរបៀប client JVM របស់ driver មានរួចហើយនៅពេលកូដកម្មវិធីដំណើរការ។

របៀបដាក់ពង្រាយក៏សំខាន់សម្រាប់ spark.driver.extraJavaOptions: driver អាចដំណើរការនៅម៉ាស៊ីនផ្សេង ដែលត្រូវការផ្លូវរបស់ខ្លួនទៅ proxy។ សំណើ API ក្រោយមករបស់ executor គឺជាដំណើរការនិងទីតាំងបណ្ដាញផ្សេង; ការកំណត់ executor មិនចាំបាច់កំណត់ការដោះស្រាយពេលចាប់ផ្ដើមទេ។

នៅពេលមានជម្រើសបើកដំណើរការ ប៉ុន្តែការទាញយកបរាជ័យ

តាមដានឈ្មោះ host របស់ឃ្លាំង ប្រភេទសំណើ និងកំហុសដំបូង។ មេតាដាតា និងអាតេហ្វ៊ែកអាចមកពី host ជាច្រើន។ URL ឃ្លាំងដែលត្រូវនឹង Maven មិនបញ្ជាក់ថា Spark អាន settings.xml ដែលពាក្យបញ្ជា Maven ជោគជ័យប្រើនោះទេ។

កម្មវិធីទាញយក Java ត្រូវគាំទ្រយន្តការ proxy និងការផ្ទៀងផ្ទាត់ដែលត្រូវការ។ លក្ខណៈ host/port មិនផ្ដល់គ្រប់ scheme ទេ ហើយលក្ខណៈ http.proxyUsername ដែលប្រឌិតឡើងមិនក្លាយជាមានប្រសិទ្ធភាព ដោយគ្រាន់តែ Java ទទួលឈ្មោះនោះទេ។ រក្សាការកំណត់មុនចាប់ផ្ដើម និងការទាញយកដែលបរាជ័យជាក់លាក់ជាមួយគ្នា នៅពេលវិភាគដំណាក់កាលនេះ។