プロキシと指定キャッシュディレクトリを使って Gensim コーパスをダウンロードする
ダウンローダーが起動する前に urllib のプロキシ環境変数と GENSIM_DATA_DIR を設定します。CLI を使っても HTTP バックエンドは変わりません。
https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8この POSIX 起動方法は、Gensim のダウンローダーをインポートする前に HTTPS プロキシとデータディレクトリを渡し、その後 text8 をダウンロードしてそのローカルパスを返します。公開ダウンロード経路には HTTP プロキシ一覧から HTTP エンドポイントを選び、ディレクトリは目的のパスに置き換えてください。
GENSIM_DATA_DIR はインポート時にモジュールの基底ディレクトリへ読み込まれます。既定値は ~/gensim-data なので、gensim.downloader をインポートした後に設定してもその初期化には間に合いません。
CLI は Python コードが使うのと同じ load 関数を呼び出し、urllib を使います。アプリケーションでは api.load(name, return_path=True) を指定すると、データセットをメモリに読み込む代わりにダウンロードのみの動作になります。
失敗が残る場合は、インデックスのリクエストとファイルのリクエストを切り分けてください。インデックスは GitHub の生コンテンツホストから取得し、ファイルはリリースから取得され、別の宛先へリダイレクトされることがあります。ローカルの情報キャッシュがあると、ネットワーク障害後もインデックス検索が続行できます。既存データがあればファイルの再ダウンロードを避けられます。したがってウォームロードは、両方のネットワーク経路が機能したことを証明しません。