Gensim корпусын прокси және таңдалған кэш каталогы арқылы жүктеу

Жүктеуші басталмас бұрын urllib прокси ортасын және GENSIM_DATA_DIR айнымалысын орнатыңыз; CLI қолдану оның HTTP backend-ін өзгертпейді.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Бұл POSIX іске қосуы Gensim жүктеушісін импорттамас бұрын HTTPS проксиін және деректер каталогын береді, содан кейін text8 жүктеп, оның жергілікті жолын қайтарады. Ашық жүктеу бағыты үшін HTTP прокси тізімінен HTTP эндпоинт таңдап, каталогты қажет жолмен ауыстырыңыз.

GENSIM_DATA_DIR импорт кезінде модульдің негізгі каталогына оқылады. Әдепкі мәні ~/gensim-data, сондықтан оны gensim.downloader импортталғаннан кейін орнату сол инициализация үшін тым кеш.

CLI Python коды пайдаланатын сол load функциясын шақырады және urllib қолданады. Қолданбада api.load(name, return_path=True) деректер жиынын жадқа жүктеудің орнына тек жүктеу мінезін таңдайды.

Қалған ақау үшін индекстік сұранысты файлдық сұраныстан ажыратыңыз. Индекс GitHub-тың шикі мазмұн хостсынан келеді; файлдар релиздерден келеді және басқа мекенжайларға бағытталуы мүмкін. Жергілікті ақпарат кэші желі ақауынан кейін индексті іздеуді жалғастыруға мүмкіндік береді. Бар деректер файлды қайта жүктеуді болдырмауы мүмкін. Сондықтан жылы жүктеу екі желілік жолдың да жұмыс істегенін дәлелдемейді.

Қатысты мақалалар