Muat turun Korpus Gensim dengan Proksi dan Direktori Cache Pilihan

Tetapkan persekitaran proksi urllib dan GENSIM_DATA_DIR sebelum pemuat turun bermula; penggunaan CLI tidak mengubah backend HTTP-nya.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Pelancaran POSIX ini membekalkan proksi HTTPS dan direktori data sebelum mengimport pemuat turun Gensim, kemudian memuat turun text8 dan memulangkan laluan tempatannya. Pilih titik akhir HTTP daripada senarai proksi HTTP untuk laluan muat turun awam, dan gantikan direktori dengan laluan yang dimaksudkan.

GENSIM_DATA_DIR dibaca ke direktori asas modul semasa import. Nilai lalainya ialah ~/gensim-data, jadi menetapkannya selepas mengimport gensim.downloader terlalu lewat untuk permulaan itu.

CLI memanggil fungsi load yang sama seperti kod Python dan menggunakan urllib. Dalam aplikasi, api.load(name, return_path=True) memilih tingkah laku muat turun sahaja dan bukan memuatkan set data ke dalam memori.

Untuk kegagalan yang tinggal, bezakan permintaan indeks daripada permintaan fail. Indeks datang daripada hos kandungan mentah GitHub; fail datang daripada keluaran dan mungkin mengubah hala ke destinasi lain. Cache maklumat tempatan boleh membenarkan carian indeks diteruskan selepas kegagalan rangkaian. Data sedia ada boleh mengelakkan muat turun fail lagi. Jadi muatan hangat tidak membuktikan kedua-dua laluan rangkaian berfungsi.

Artikel berkaitan