Baixar um corpus do Gensim com um proxy e um diretório de cache escolhido

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Este comando POSIX fornece o proxy HTTPS e o diretório de dados antes de importar o baixador do Gensim, depois baixa text8 e retorna seu caminho local. Escolha um endpoint HTTP na lista de proxies HTTP para uma rota de download pública e substitua o diretório pelo caminho desejado.

GENSIM_DATA_DIR é lido no diretório base do módulo durante a importação. O valor padrão é ~/gensim-data, então defini-lo depois de importar gensim.downloader é tarde demais para essa inicialização.

A CLI chama a mesma função load usada pelo código Python e usa urllib. Em uma aplicação, api.load(name, return_path=True) seleciona o comportamento de apenas download em vez de carregar o conjunto de dados na memória.

Se a falha persistir, distinga a requisição do índice da requisição do arquivo. O índice vem do host de conteúdo bruto do GitHub; os arquivos vêm das releases e podem redirecionar para outros destinos. O cache local de informações pode permitir que a busca no índice continue após uma falha de rede. Dados existentes podem evitar outro download de arquivo. Um carregamento a quente, portanto, não prova que os dois caminhos de rede funcionaram.