Gensim-ийн корпусыг прокси болон сонгосон кэш хавтасаар татах

Татагчийг эхлэхээс өмнө urllib-ийн прокси орчин болон GENSIM_DATA_DIR-ийг тохируулна уу; CLI ашиглах нь түүний HTTP backend-ийг өөрчлөхгүй.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Энэ POSIX эхлүүлэлт нь Gensim-ийн татагчийг импортлохоос өмнө HTTPS прокси болон өгөгдлийн хавтасыг өгч, дараа нь text8-ийг татаж, түүний локал замыг буцаана. Нийтийн татах замд HTTP прокси жагсаалтаас HTTP endpoint сонгож, хавтасыг хүссэн замаар соль.

Импортлох үед GENSIM_DATA_DIR модулийн үндсэн хавтаст уншигдана. Анхдагч утга нь ~/gensim-data тул gensim.downloader-ийг импортолсны дараа тохируулах нь тэр эхлүүлэлтэд хэт оройтсон юм.

CLI нь Python кодтой ижил load функцийг дуудаж, urllib ашигладаг. Програмд api.load(name, return_path=True) нь өгөгдлийн багцыг санах ойд ачаалахын оронд зөвхөн татах зан төлөвийг сонгоно.

Үлдсэн алдааны хувьд индекс хүсэлтийг файлын хүсэлтээс ялга. Индекс нь GitHub-ийн түүхий агуулгын хостноос ирдэг; файлууд нь хувилбаруудаас ирдэг бөгөөд бусад хаяг руу чиглүүлж болно. Локал мэдээллийн кэш нь сүлжээний алдааны дараа индексийн хайлтыг үргэлжлүүлэх боломж өгдөг. Одоо байгаа өгөгдөл дахин файл татахаас зайлсхийж болно. Тиймээс дулаан ачаалал нь сүлжээний хоёр зам ажилласныг батлахгүй.

Холбоотой нийтлэлүүд