Download et Gensim-korpus med en proxy og en valgt cachemappe

Sæt urllibs proxymiljø og GENSIM_DATA_DIR, før downloaderen starter; brug af CLI'en ændrer ikke dens HTTP-backend.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Denne POSIX-start leverer HTTPS-proxyen og datamappen, før Gensims downloader importeres, og downloader derefter text8 og returnerer dens lokale sti. Vælg et HTTP-endpoint fra HTTP-proxylisten til en offentlig downloadrute, og erstat mappen med den tilsigtede sti.

GENSIM_DATA_DIR læses ind i modulets basismappe under import. Standardværdien er ~/gensim-data, så det er for sent at sætte den efter import af gensim.downloader for den initialisering.

CLI'en kalder den samme load-funktion, som Python-koden bruger, og bruger urllib. I en applikation vælger api.load(name, return_path=True) kun-download-adfærd i stedet for at indlæse datasættet i hukommelsen.

Ved en vedvarende fejl skal du skelne indeksanmodningen fra filanmodningen. Indekset kommer fra GitHubs værtsmaskine for rå indhold; filer kommer fra releases og kan omdirigere til andre destinationer. Den lokale informationscache kan lade indeksopslag fortsætte efter en netværksfejl. Eksisterende data kan undgå endnu en filhentning. En varm indlæsning beviser derfor ikke, at begge netværksveje virkede.

Relaterede artikler