Спампаваць корпус Gensim праз проксі і выбраную каталог-кэш

Задайце асяроддзе проксі urllib і GENSIM_DATA_DIR да запуску спампоўшчыка; выкарыстанне CLI не змяняе яго HTTP-бэкенд.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Гэты запуск POSIX падае HTTPS-проксі і каталог даных да імпарту спампоўшчыка Gensim, затым спампоўвае text8 і вяртае яго лакальны шлях. Выберыце HTTP-эндпоінт са спісу HTTP-проксі для публічнага маршруту спампоўкі і заменіце каталог патрэбным шляхам.

GENSIM_DATA_DIR зчытваецца ў базавы каталог модуля падчас імпарту. Значэнне па змаўчанні — ~/gensim-data, таму задаваць яго пасля імпарту gensim.downloader запозна для гэтай ініцыялізацыі.

CLI выклікае тую ж функцыю load, якую выкарыстоўвае код Python, і ўжывае urllib. У праграме api.load(name, return_path=True) выбірае рэжым толькі спампоўкі замест загрузкі набору даных у памяць.

Пры памылцы, што засталася, адрознівайце запыт індэкса ад запыту файла. Індэкс паходзіць з хоста сырога кантэнту GitHub; файлы — з рэлізаў і могуць перанакіроўвацца на іншыя адрасы. Лакальны кэш інфармацыі дазваляе працягваць пошук у індэксе пасля збою сеткі. Наяўныя даныя могуць пазбегнуць чарговага спампоўвання файла. Таму «цёплая» загрузка не даказвае, што абодва сеткавыя шляхі працавалі.

Падобныя артыкулы