Завантажити корпус Gensim через проксі та вибраний каталог кешу

Задайте проксі-середовище urllib і GENSIM_DATA_DIR до запуску завантажувача; використання CLI не змінює його HTTP-бекенд.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Цей запуск POSIX передає HTTPS-проксі та каталог даних до імпорту завантажувача Gensim, потім завантажує text8 і повертає його локальний шлях. Виберіть HTTP-ендпоінт зі списку HTTP-проксі для публічного маршруту завантаження і замініть каталог потрібним шляхом.

GENSIM_DATA_DIR зчитується в базовий каталог модуля під час імпорту. Значення за замовчуванням — ~/gensim-data, тому задавати його після імпорту gensim.downloader запізно для цієї ініціалізації.

CLI викликає ту саму функцію load, яку використовує код Python, і застосовує urllib. У застосунку api.load(name, return_path=True) вибирає поведінку лише завантаження замість завантаження набору даних у пам'ять.

Якщо помилка лишилася, розрізняйте запит індексу від запиту файлу. Індекс надходить із хоста необробленого вмісту GitHub; файли надходять із випусків і можуть перенаправляти на інші адреси. Локальний кеш інформації може дозволити пошуку за індексом продовжитися після збою мережі. Наявні дані можуть уберегти від повторного завантаження файлу. Тому «тепле» завантаження не доводить, що обидва мережеві шляхи працювали.

Схожі статті