Last ned et Gensim-korpus med en proxy og en valgt cachemappe

Sett urllibs proxymiljø og GENSIM_DATA_DIR før nedlasteren starter; bruk av CLI endrer ikke HTTP-backenden.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Denne POSIX-oppstarten leverer HTTPS-proxyen og datamappen før Gensims nedlaster importeres, laster deretter ned text8 og returnerer den lokale banen. Velg et HTTP-endepunkt fra HTTP-proxylisten for en offentlig nedlastingsrute, og bytt ut mappen med den tiltenkte banen.

GENSIM_DATA_DIR leses inn i modulens basismappe ved import. Standardverdien er ~/gensim-data, så det er for sent å sette den etter import av gensim.downloader for den initialiseringen.

CLI-en kaller den samme load-funksjonen som Python-koden bruker, og bruker urllib. I en applikasjon velger api.load(name, return_path=True) kun-nedlasting i stedet for å laste datasettet inn i minnet.

Ved en vedvarende feil må du skille indeksforespørselen fra filforespørselen. Indeksen kommer fra GitHubs vert for rå innhold; filer kommer fra utgivelser og kan omdirigere til andre mål. Den lokale informasjonsbufferen kan la indeksoppslaget fortsette etter en nettverksfeil. Eksisterende data kan unngå nok en filnedlasting. En varm innlasting beviser derfor ikke at begge nettverksveiene virket.

Relaterte artikler