Pobierz korpus Gensima przez proxy i wybrany katalog pamięci podręcznej

Ustaw środowisko proxy biblioteki urllib i GENSIM_DATA_DIR, zanim uruchomi się pobierający; użycie CLI nie zmienia jego backendu HTTP.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

To polecenie POSIX dostarcza proxy HTTPS i katalog danych przed zaimportowaniem pobierającego Gensima, a następnie pobiera text8 i zwraca jego lokalną ścieżkę. Wybierz punkt końcowy HTTP z listy proxy HTTP dla publicznej trasy pobierania i zastąp katalog docelową ścieżką.

GENSIM_DATA_DIR jest wczytywany do katalogu bazowego modułu podczas importu. Domyślną wartością jest ~/gensim-data, więc ustawienie go po zaimportowaniu gensim.downloader jest zbyt późne dla tej inicjalizacji.

CLI wywołuje tę samą funkcję load, której używa kod Pythona, i korzysta z urllib. W aplikacji api.load(name, return_path=True) wybiera zachowanie wyłącznie pobierające zamiast wczytywania zbioru danych do pamięci.

Przy utrzymującym się błędzie odróżnij żądanie indeksu od żądania pliku. Indeks pochodzi z hosta surowej zawartości GitHuba; pliki pochodzą z wydań i mogą przekierowywać do innych miejsc. Lokalna pamięć podręczna informacji może pozwolić na kontynuowanie wyszukiwania indeksu po awarii sieci. Istniejące dane mogą pozwolić uniknąć kolejnego pobierania pliku. Ciepłe wczytanie nie dowodzi więc, że obie ścieżki sieciowe działały.

Powiązane artykuły