പ്രോക്സിയും തിരഞ്ഞെടുത്ത കാഷെ ഡയറക്ടറിയും ഉപയോഗിച്ച് Gensim കോർപ്പസ് ഡൗൺലോഡ് ചെയ്യുക

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

ഈ POSIX ലോഞ്ച് Gensim-ന്റെ ഡൗൺലോഡർ ഇംപോർട്ട് ചെയ്യുന്നതിന് മുൻപ് HTTPS പ്രോക്സിയും ഡാറ്റാ ഡയറക്ടറിയും നൽകുന്നു, തുടർന്ന് text8 ഡൗൺലോഡ് ചെയ്ത് അതിന്റെ ലോക്കൽ പാത്ത് തിരികെ നൽകുന്നു. പൊതു ഡൗൺലോഡ് പാതയ്ക്കായി HTTP പ്രോക്സി പട്ടികയിൽ നിന്ന് ഒരു HTTP എൻഡ്പോയിന്റ് തിരഞ്ഞെടുക്കുക, ഡയറക്ടറി ഉദ്ദേശിച്ച പാത്ത് ഉപയോഗിച്ച് മാറ്റുക.

ഇംപോർട്ട് സമയത്ത് GENSIM_DATA_DIR മൊഡ്യൂളിന്റെ അടിസ്ഥാന ഡയറക്ടറിയിലേക്ക് വായിക്കുന്നു. സ്വതവേയുള്ള മൂല്യം ~/gensim-data ആണ്, അതിനാൽ gensim.downloader ഇംപോർട്ട് ചെയ്തതിന് ശേഷം അത് സജ്ജമാക്കുന്നത് ആ ഇനിഷ്യലൈസേഷന് വളരെ വൈകിയാണ്.

Python കോഡ് ഉപയോഗിക്കുന്ന അതേ load ഫങ്ക്ഷൻ തന്നെ CLI വിളിക്കുന്നു, urllib ഉപയോഗിക്കുന്നു. ഒരു ആപ്ലിക്കേഷനിൽ, ഡാറ്റാസെറ്റ് മെമ്മറിയിലേക്ക് ലോഡ് ചെയ്യുന്നതിന് പകരം api.load(name, return_path=True) ഡൗൺലോഡ് മാത്രം എന്ന സ്വഭാവം തിരഞ്ഞെടുക്കുന്നു.

ബാക്കിയുള്ള പരാജയത്തിന്, ഇൻഡക്സ് അഭ്യർത്ഥനയെ ഫയൽ അഭ്യർത്ഥനയിൽ നിന്ന് വേർതിരിക്കുക. ഇൻഡക്സ് GitHub-ന്റെ അസംസ്കൃത ഉള്ളടക്ക ഹോസ്റ്റിൽ നിന്ന് വരുന്നു; ഫയലുകൾ റിലീസുകളിൽ നിന്ന് വരുന്നു, മറ്റ് ലക്ഷ്യസ്ഥാനങ്ങളിലേക്ക് റീഡയറക്ട് ചെയ്യാം. ലോക്കൽ വിവര കാഷെ നെറ്റ്വർക്ക് പരാജയത്തിന് ശേഷം ഇൻഡക്സ് തിരയൽ തുടരാൻ അനുവദിക്കുന്നു. നിലവിലുള്ള ഡാറ്റ മറ്റൊരു ഫയൽ ഡൗൺലോഡ് ഒഴിവാക്കാം. അതിനാൽ ഒരു വാം ലോഡ് രണ്ട് നെറ്റ്വർക്ക് പാതകളും പ്രവർത്തിച്ചു എന്ന് തെളിയിക്കുന്നില്ല.