Descărcați un corpus Gensim cu un proxy și un director de cache ales

Setați mediul proxy al urllib și GENSIM_DATA_DIR înainte ca descărcătorul să pornească; folosirea CLI nu îi schimbă backendul HTTP.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Această lansare POSIX furnizează proxy-ul HTTPS și directorul de date înainte de importarea descărcătorului Gensim, apoi descarcă text8 și returnează calea sa locală. Alegeți un endpoint HTTP din lista de proxy-uri HTTP pentru o rută publică de descărcare și înlocuiți directorul cu calea dorită.

GENSIM_DATA_DIR este citit în directorul de bază al modulului la import. Valoarea implicită este ~/gensim-data, așa că setarea lui după importarea gensim.downloader este prea târzie pentru acea inițializare.

CLI apelează aceeași funcție load folosită de codul Python și folosește urllib. Într-o aplicație, api.load(name, return_path=True) selectează comportamentul doar-descărcare în loc să încarce setul de date în memorie.

Pentru o eroare rămasă, distingeți cererea de index de cererea de fișier. Indexul provine de la gazda de conținut brut a GitHub; fișierele provin din versiuni și pot redirecționa către alte destinații. Cache-ul local de informații poate permite căutării în index să continue după o defecțiune de rețea. Datele existente pot evita o altă descărcare de fișier. Așadar, o încărcare caldă nu dovedește că ambele căi de rețea au funcționat.

Articole similare