Gensim-korpus letöltése proxyvel és kiválasztott gyorsítótár-könyvtárral

Állítsd be az urllib proxy környezetét és a GENSIM_DATA_DIR-t, mielőtt a letöltő elindul; a CLI használata nem változtatja meg a HTTP-hátterét.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Ez a POSIX-indítás biztosítja a HTTPS-proxyt és az adatkönyvtárat a Gensim letöltőjének importálása előtt, majd letölti a text8 fájlt és visszaadja a helyi útvonalát. Nyilvános letöltési útvonalhoz válassz HTTP-végpontot az HTTP-proxy listáról, és cseréld le a könyvtárat a kívánt útvonalra.

A GENSIM_DATA_DIR importáláskor a modul alapkönyvtárába olvasódik be. Az alapértelmezett értéke ~/gensim-data, ezért a gensim.downloader importálása utáni beállítás már túl késő ehhez az inicializáláshoz.

A CLI ugyanazt a load függvényt hívja, amelyet a Python-kód használ, és urllibet használ. Egy alkalmazásban a api.load(name, return_path=True) csak letöltő viselkedést választ, ahelyett hogy az adathalmazt a memóriába töltené.

Maradandó hiba esetén különböztesd meg az indexkérést a fájlkéréstől. Az index a GitHub nyers tartalmú hosztjáról származik; a fájlok a kiadásokból jönnek, és más célpontokra irányíthatnak át. A helyi információ-gyorsítótár lehetővé teheti, hogy az indexkeresés hálózati hiba után is folytatódjon. A meglévő adatok elkerülhetik az újabb fájlletöltést. A meleg betöltés tehát nem bizonyítja, hogy mindkét hálózati útvonal működött.

Kapcsolódó cikkek