Einen Gensim-Korpus mit Proxy und gewähltem Cache-Verzeichnis herunterladen

Setze urllibs Proxy-Umgebung und GENSIM_DATA_DIR, bevor der Downloader startet; die CLI ändert sein HTTP-Backend nicht.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Dieser POSIX-Aufruf stellt den HTTPS-Proxy und das Datenverzeichnis bereit, bevor Gensims Downloader importiert wird, lädt dann text8 herunter und gibt den lokalen Pfad zurück. Wähle einen HTTP-Endpunkt aus der HTTP-Proxy-Liste für eine öffentliche Download-Route und ersetze das Verzeichnis durch den gewünschten Pfad.

GENSIM_DATA_DIR wird beim Import in das Basisverzeichnis des Moduls eingelesen. Der Standardwert ist ~/gensim-data, daher kommt das Setzen nach dem Import von gensim.downloader für diese Initialisierung zu spät.

Die CLI ruft dieselbe Funktion load auf, die Python-Code verwendet, und nutzt urllib. In einer Anwendung wählt api.load(name, return_path=True) reines Herunterladen statt den Datensatz in den Speicher zu laden.

Bei einem verbleibenden Fehler sind Indexanfrage und Dateianfrage zu unterscheiden. Der Index stammt vom Rohinhalts-Host von GitHub; Dateien stammen aus Releases und können auf andere Ziele umleiten. Der lokale Informations-Cache kann die Indexsuche nach einem Netzwerkfehler fortsetzen lassen. Vorhandene Daten können einen weiteren Dateidownload ersparen. Ein warmer Lauf belegt daher nicht, dass beide Netzwerkpfade funktioniert haben.

Ähnliche Artikel