Descarga un corpus de Gensim cun proxy e un directorio de caché elixido

Configura a contorna de proxy de urllib e GENSIM_DATA_DIR antes de que arrinque o descargador; usar a CLI non cambia o seu backend HTTP.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Esta orde POSIX fornece o proxy HTTPS e o directorio de datos antes de importar o descargador de Gensim; despois descarga text8 e devolve a súa ruta local. Escolle un endpoint HTTP da lista de proxies HTTP para unha ruta de descarga pública e substitúe o directorio pola ruta desexada.

GENSIM_DATA_DIR lese no directorio base do módulo durante a importación. O seu valor predeterminado é ~/gensim-data, así que definilo despois de importar gensim.downloader chega demasiado tarde para esa inicialización.

A CLI chama a mesma función load que usa o código Python e emprega urllib. Nunha aplicación, api.load(name, return_path=True) elixe o comportamento de só descarga en lugar de cargar o conxunto de datos na memoria.

Se o fallo persiste, distingue a petición do índice da petición do ficheiro. O índice procede do host de contido sen formato de GitHub; os ficheiros proceden das versións e poden redirixir a outros destinos. A caché local de información pode permitir que a consulta do índice continúe tras un fallo de rede. Os datos existentes poden evitar outra descarga de ficheiro. Polo tanto, unha carga en quente non demostra que ambos os camiños de rede funcionasen.

Artigos relacionados