Изтегляне на корпус на Gensim чрез прокси и избрана кеш директория

Задайте прокси средата на urllib и GENSIM_DATA_DIR преди стартирането на изтеглящия; използването на CLI не променя HTTP бекенда му.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Това POSIX стартиране подава HTTPS проксито и директорията с данни преди импортирането на изтеглящия на Gensim, след което изтегля text8 и връща локалния му път. Изберете HTTP крайна точка от списъка с HTTP проксита за публичен маршрут за изтегляне и заменете директорията с желания път.

GENSIM_DATA_DIR се прочита в базовата директория на модула при импортиране. По подразбиране е ~/gensim-data, затова задаването му след импортиране на gensim.downloader е твърде късно за тази инициализация.

CLI извиква същата функция load, която използва Python кодът, и работи с urllib. В приложение api.load(name, return_path=True) избира поведение само на изтегляне, вместо зареждане на набора от данни в паметта.

При оставаща грешка разграничете заявката за индекса от заявката за файла. Индексът идва от хоста за сурово съдържание на GitHub; файловете идват от издания и могат да се пренасочват към други дестинации. Локалният кеш на информацията може да позволи търсенето в индекса да продължи след мрежов отказ. Наличните данни могат да избегнат ново изтегляне на файл. Затова „топло“ зареждане не доказва, че и двата мрежови пътя са работили.

Подобни статии