Atsisiųsti Gensim korpusą per tarpinį serverį ir pasirinktą podėlio katalogą

Nustatykite urllib tarpinio serverio aplinką ir GENSIM_DATA_DIR prieš paleisdami siuntiklį; CLI naudojimas nekeičia jo HTTP pagrindo.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Šis POSIX paleidimas pateikia HTTPS tarpinį serverį ir duomenų katalogą prieš importuojant Gensim siuntiklį, tada atsisiunčia text8 ir grąžina jo vietinį kelią. Viešam atsisiuntimo maršrutui pasirinkite HTTP galinį tašką iš HTTP tarpinių serverių sąrašo ir pakeiskite katalogą norimu keliu.

GENSIM_DATA_DIR importuojant įskaitomas į modulio bazinį katalogą. Numatytoji reikšmė yra ~/gensim-data, todėl nustatyti jį po gensim.downloader importavimo yra per vėlu tai inicializacijai.

CLI kviečia tą pačią funkciją load, kurią naudoja Python kodas, ir naudoja urllib. Programoje api.load(name, return_path=True) pasirenka tik atsisiuntimo veikseną, o ne įkelia duomenų rinkinį į atmintį.

Esant likusiai klaidai, atskirkite indekso užklausą nuo failo užklausos. Indeksas gaunamas iš GitHub neapdoroto turinio serverio; failai gaunami iš leidimų ir gali nukreipti į kitas paskirties vietas. Vietinė informacijos podėlis gali leisti indekso paieškai tęstis po tinklo gedimo. Esami duomenys gali padėti išvengti dar vieno failo atsisiuntimo. Taigi šiltas įkėlimas neįrodo, kad abu tinklo keliai veikė.

Susiję straipsniai