I-download ang Gensim Corpus gamit ang Proxy at Piniling Cache Directory

Itakda ang proxy environment ng urllib at GENSIM_DATA_DIR bago magsimula ang downloader; hindi binabago ng paggamit ng CLI ang HTTP backend nito.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Ang POSIX launch na ito ay nagbibigay ng HTTPS proxy at data directory bago i-import ang downloader ng Gensim, pagkatapos ay ini-download ang text8 at ibinabalik ang lokal na path nito. Pumili ng HTTP endpoint mula sa listahan ng HTTP proxy para sa pampublikong ruta ng download, at palitan ang directory ng nais na path.

Binabasa ang GENSIM_DATA_DIR sa base directory ng module sa pag-import. Ang default nito ay ~/gensim-data, kaya masyadong huli ang pagtatakda nito pagkatapos i-import ang gensim.downloader para sa initialization na iyon.

Tinatawag ng CLI ang parehong function na load na ginagamit ng Python code at gumagamit ng urllib. Sa isang application, pinipili ng api.load(name, return_path=True) ang pag-uugaling download lamang sa halip na i-load ang dataset sa memory.

Para sa natitirang pagkabigo, ihiwalay ang index request sa file request. Ang index ay nagmumula sa raw-content host ng GitHub; ang mga file ay nagmumula sa mga release at maaaring mag-redirect sa ibang destinasyon. Ang lokal na cache ng impormasyon ay maaaring magpatuloy ng paghahanap sa index pagkatapos ng pagkabigo ng network. Ang umiiral na data ay makakaiwas sa isa pang pag-download ng file. Kaya hindi pinatutunayan ng warm load na gumana ang dalawang network path.

Kaugnay na mga artikulo