הורדת קורפוס של Gensim דרך פרוקסי ותיקיית מטמון נבחרת

הגדירו את סביבת הפרוקסי של urllib ואת GENSIM_DATA_DIR לפני שהמוריד מתחיל; שימוש ב-CLI אינו משנה את ה-HTTP backend שלו.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

הפעלת POSIX הזו מספקת את פרוקסי ה-HTTPS ואת תיקיית הנתונים לפני ייבוא המוריד של Gensim, ואז מורידה את text8 ומחזירה את הנתיב המקומי שלו. בחרו נקודת קצה HTTP מרשימת פרוקסי ה-HTTP לנתיב הורדה ציבורי, והחליפו את התיקייה בנתיב הרצוי.

GENSIM_DATA_DIR נקרא לתוך תיקיית הבסיס של המודול בזמן הייבוא. ברירת המחדל שלו היא ~/gensim-data, ולכן הגדרתו לאחר ייבוא gensim.downloader מאוחרת מדי לאתחול הזה.

ה-CLI קורא לאותה פונקציה load שבה משתמש קוד Python ומשתמש ב-urllib. ביישום, api.load(name, return_path=True) בוחר התנהגות של הורדה בלבד במקום טעינת מערך הנתונים לזיכרון.

בכשל שנותר, הבדילו בין בקשת האינדקס לבקשת הקובץ. האינדקס מגיע ממארח התוכן הגולמי של GitHub; קבצים מגיעים מגרסאות ועשויים להפנות ליעדים אחרים. מטמון המידע המקומי יכול לאפשר לחיפוש באינדקס להימשך אחרי כשל רשת. נתונים קיימים יכולים למנוע הורדת קובץ נוספת. לכן טעינה חמה אינה מוכיחה ששני נתיבי הרשת עבדו.

מאמרים קשורים