Shkarko një korpus Gensim me një proxy dhe një drejtori cache të zgjedhur

Vendos mjedisin e proxy-t të urllib dhe GENSIM_DATA_DIR përpara se shkarkuesi të nisë; përdorimi i CLI nuk e ndryshon backend-in e tij HTTP.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Ky nisje POSIX ofron proxy-n HTTPS dhe drejtorinë e të dhënave përpara se të importohet shkarkuesi i Gensim, pastaj shkarkon text8 dhe kthen shtegun e tij lokal. Zgjidh një pikë fundore HTTP nga lista e proxy-ve HTTP për një rrugë publike shkarkimi dhe zëvendëso drejtorinë me shtegun e synuar.

GENSIM_DATA_DIR lexohet në drejtorinë bazë të modulit gjatë importimit. Vlera e tij e parazgjedhur është ~/gensim-data, prandaj vendosja e tij pas importimit të gensim.downloader është shumë vonë për atë inicializim.

CLI thërret të njëjtin funksion load që përdor kodi Python dhe përdor urllib. Në një aplikacion, api.load(name, return_path=True) zgjedh sjelljen vetëm-shkarkim në vend të ngarkimit të grupit të të dhënave në memorie.

Për një dështim të mbetur, dallo kërkesën e indeksit nga kërkesa e skedarit. Indeksi vjen nga hosti i përmbajtjes së papërpunuar të GitHub; skedarët vijnë nga publikimet dhe mund të ridrejtohen drejt destinacioneve të tjera. Cache-i lokal i informacionit mund të lejojë kërkimin e indeksit të vazhdojë pas një dështimi rrjeti. Të dhënat ekzistuese mund të shmangin një shkarkim tjetër skedari. Prandaj një ngarkim i ngrohtë nuk vërteton se të dy rrugët e rrjetit funksionuan.

Artikuj të ngjashëm