Скачать корпус Gensim через прокси и выбранный каталог кеша

Задайте прокси-окружение urllib и GENSIM_DATA_DIR до запуска загрузчика; использование CLI не меняет его HTTP-бэкенд.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Этот запуск POSIX передаёт HTTPS-прокси и каталог данных до импорта загрузчика Gensim, затем скачивает text8 и возвращает его локальный путь. Выберите HTTP-эндпоинт из списка HTTP-прокси для публичного маршрута загрузки и замените каталог нужным путём.

GENSIM_DATA_DIR считывается в базовый каталог модуля при импорте. Значение по умолчанию — ~/gensim-data, поэтому задавать его после импорта gensim.downloader слишком поздно для этой инициализации.

CLI вызывает ту же функцию load, что и код Python, и использует urllib. В приложении api.load(name, return_path=True) выбирает поведение только-загрузки вместо загрузки набора данных в память.

При оставшейся ошибке отличайте запрос индекса от запроса файла. Индекс приходит с хоста необработанного содержимого GitHub; файлы приходят из релизов и могут перенаправлять на другие адреса. Локальный кеш информации может позволить поиску по индексу продолжиться после сетевого сбоя. Имеющиеся данные могут избавить от повторного скачивания файла. Поэтому «тёплая» загрузка не доказывает, что оба сетевых пути работали.

Похожие статьи