Een Gensim-corpus downloaden met een proxy en een gekozen cachemap

Stel urllibs proxy-omgeving en GENSIM_DATA_DIR in voordat de downloader start; de CLI gebruiken verandert zijn HTTP-backend niet.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Deze POSIX-start levert de HTTPS-proxy en de gegevensmap voordat Gensims downloader wordt geïmporteerd, downloadt daarna text8 en geeft het lokale pad terug. Kies een HTTP-eindpunt uit de HTTP-proxylijst voor een openbare downloadroute en vervang de map door het bedoelde pad.

GENSIM_DATA_DIR wordt bij het importeren in de basismap van de module gelezen. De standaardwaarde is ~/gensim-data, dus het instellen na het importeren van gensim.downloader is te laat voor die initialisatie.

De CLI roept dezelfde load-functie aan als Python-code en gebruikt urllib. In een toepassing kiest api.load(name, return_path=True) alleen-downloadgedrag in plaats van de dataset in het geheugen te laden.

Bij een resterende fout moet je het indexverzoek van het bestandsverzoek onderscheiden. De index komt van GitHubs host voor ruwe inhoud; bestanden komen uit releases en kunnen naar andere bestemmingen doorverwijzen. De lokale informatiecache kan het indexonderzoek na een netwerkstoring laten doorgaan. Bestaande gegevens kunnen een nieuwe bestandsdownload voorkomen. Een warme laadactie bewijst dus niet dat beide netwerkpaden hebben gewerkt.

Gerelateerde artikelen