Unduh Korpus Gensim dengan Proxy dan Direktori Cache Pilihan

Atur lingkungan proxy urllib dan GENSIM_DATA_DIR sebelum pengunduh mulai; memakai CLI tidak mengubah backend HTTP-nya.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Peluncuran POSIX ini menyediakan proxy HTTPS dan direktori data sebelum mengimpor pengunduh Gensim, lalu mengunduh text8 dan mengembalikan jalur lokalnya. Pilih endpoint HTTP dari daftar proxy HTTP untuk rute unduhan publik, dan ganti direktori dengan jalur yang dimaksud.

GENSIM_DATA_DIR dibaca ke direktori dasar modul saat impor. Nilai bawaannya ~/gensim-data, jadi menyetelnya setelah mengimpor gensim.downloader sudah terlambat untuk inisialisasi itu.

CLI memanggil fungsi load yang sama dengan yang dipakai kode Python dan memakai urllib. Dalam aplikasi, api.load(name, return_path=True) memilih perilaku hanya-unduh alih-alih memuat kumpulan data ke memori.

Untuk kegagalan yang tersisa, bedakan permintaan indeks dari permintaan berkas. Indeks berasal dari host konten mentah GitHub; berkas berasal dari rilis dan dapat mengalihkan ke tujuan lain. Cache informasi lokal dapat membuat pencarian indeks berlanjut setelah kegagalan jaringan. Data yang sudah ada dapat menghindari pengunduhan berkas lagi. Jadi pemuatan hangat tidak membuktikan bahwa kedua jalur jaringan berhasil.

Artikel terkait