Ladda ner ett Gensim-korpus med en proxy och en vald cachemapp

Ställ in urllibs proxymiljö och GENSIM_DATA_DIR innan nedladdaren startar; att använda CLI ändrar inte dess HTTP-backend.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Den här POSIX-starten tillhandahåller HTTPS-proxyn och datamappen innan Gensims nedladdare importeras, laddar sedan ner text8 och returnerar dess lokala sökväg. Välj en HTTP-slutpunkt från HTTP-proxylistan för en offentlig nedladdningsväg och ersätt mappen med den avsedda sökvägen.

GENSIM_DATA_DIR läses in i modulens basmapp vid import. Standardvärdet är ~/gensim-data, så att ställa in det efter import av gensim.downloader är för sent för den initieringen.

CLI:t anropar samma load-funktion som Python-koden använder och använder urllib. I en applikation väljer api.load(name, return_path=True) enbart nedladdning i stället för att läsa in datamängden i minnet.

Vid ett kvarstående fel skiljer du indexbegäran från filbegäran. Indexet kommer från GitHubs värd för råinnehåll; filer kommer från utgåvor och kan omdirigera till andra destinationer. Den lokala informationscachen kan låta indexsökningen fortsätta efter ett nätverksfel. Befintliga data kan undvika ännu en filnedladdning. En varm inläsning bevisar därför inte att båda nätverksvägarna fungerade.

Relaterade artiklar