Lejupielādēt Gensim korpusu ar starpniekserveri un izvēlētu kešatmiņas mapi

Iestatiet urllib starpniekservera vidi un GENSIM_DATA_DIR pirms lejupielādētāja palaišanas; CLI lietošana nemaina tā HTTP pamatni.

https_proxy=http://proxy.example:8080 \
GENSIM_DATA_DIR=/path/to/gensim-data \
python -m gensim.downloader --download text8

Šis POSIX palaidējs nodrošina HTTPS starpniekserveri un datu mapi pirms Gensim lejupielādētāja importēšanas, pēc tam lejupielādē text8 un atgriež tā vietējo ceļu. Publiskam lejupielādes maršrutam izvēlieties HTTP galapunktu no HTTP starpniekserveru saraksta un aizstājiet mapi ar vēlamo ceļu.

GENSIM_DATA_DIR importēšanas laikā tiek nolasīts moduļa bāzes mapē. Tā noklusējuma vērtība ir ~/gensim-data, tāpēc iestatīt to pēc gensim.downloader importēšanas šai inicializācijai ir par vēlu.

CLI izsauc to pašu funkciju load, ko izmanto Python kods, un izmanto urllib. Lietojumprogrammā api.load(name, return_path=True) izvēlas tikai lejupielādes darbību, nevis ielādē datu kopu atmiņā.

Ja kļūda saglabājas, nošķiriet indeksa pieprasījumu no faila pieprasījuma. Indekss nāk no GitHub neapstrādātā satura resursdatora; faili nāk no laidieniem un var novirzīt uz citiem galamērķiem. Vietējā informācijas kešatmiņa var ļaut indeksa meklēšanai turpināties pēc tīkla kļūmes. Esošie dati var palīdzēt izvairīties no vēl vienas faila lejupielādes. Tāpēc silta ielāde nepierāda, ka abi tīkla ceļi darbojās.

Saistītie raksti