Lataa Gensim-korpus välityspalvelimen ja valitun välimuistihakemiston kautta

Aseta urllibiin välityspalvelinympäristö ja GENSIM_DATA_DIR ennen kuin lataaja käynnistyy; CLI:n käyttö ei muuta sen HTTP-taustaa.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Tämä POSIX-käynnistys tarjoaa HTTPS-välityspalvelimen ja datakansion ennen Gensimin lataajan tuontia, lataa sitten text8 ja palauttaa sen paikallisen polun. Valitse julkinen latausreitti HTTP-päätepisteestä HTTP-välityspalvelinluettelosta ja korvaa hakemisto halutulla polulla.

GENSIM_DATA_DIR luetaan moduulin perushakemistoon tuonnin aikana. Sen oletusarvo on ~/gensim-data, joten sen asettaminen gensim.downloader-moduulin tuonnin jälkeen on liian myöhäistä tuolle alustukselle.

CLI kutsuu samaa load-funktiota, jota Python-koodi käyttää, ja käyttää urllibia. Sovelluksessa api.load(name, return_path=True) valitsee vain lataamisen sen sijaan, että aineisto ladattaisiin muistiin.

Jäljelle jäävässä virheessä erota indeksipyyntö tiedostopyynnöstä. Indeksi tulee GitHubin raakasisällön isännästä; tiedostot tulevat julkaisuista ja voivat ohjata muihin kohteisiin. Paikallinen tietovälimuisti voi antaa indeksihaun jatkua verkkovirheen jälkeen. Olemassa oleva data voi välttää uuden tiedostolatauksen. Lämmin lataus ei siis todista, että molemmat verkkipolut toimivat.

Aiheeseen liittyvät artikkelit