使用代理和指定缓存目录下载 Gensim 语料库

在下载器启动前设置 urllib 的代理环境和 GENSIM_DATA_DIR；使用 CLI 不会改变其 HTTP 后端。

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

这个 POSIX 启动命令在导入 Gensim 下载器之前提供 HTTPS 代理和数据目录，然后下载 text8 并返回其本地路径。为公共下载路由从 HTTP 代理列表中选择一个 HTTP 端点，并把目录替换为目标路径。

GENSIM_DATA_DIR 在导入时被读入模块的基础目录。它的默认值是 ~/gensim-data，因此在导入 gensim.downloader 之后再设置它，对该初始化来说已经太晚。

CLI 调用与 Python 代码相同的 load 函数，并使用 urllib。在应用中，api.load(name, return_path=True) 会选择仅下载的行为，而不是把数据集载入内存。

若仍有失败，请区分索引请求与文件请求。索引来自 GitHub 的原始内容主机；文件来自发布版本，并可能重定向到其他地址。本地信息缓存可以让你在网络故障后继续查询索引。已有数据可以避免再次下载文件。因此，一次热加载并不能证明两条网络路径都工作过。

相关文章