Выкарыстанне падгатаванага кэша для fetch_20newsgroups у scikit-learn

Стварыце сумяшчальны кэш fetch_20newsgroups праз падтрымоўваны fetcher, перанясіце яго, затым выкарыстоўвайце download_if_missing=False.

Калі мэта не можа спампаваць праз свой проксі, падрыхтуйце набор даных падтрымоўваным fetcher на дазволеным працоўным маршруце і перанясіце сумяшчальны кэш. На мэце:

from sklearn.datasets import fetch_20newsgroups

dataset = fetch_20newsgroups(
    data_home='/path/to/prepared-scikit-data',
    download_if_missing=False,
)

download_if_missing=False выклікае OSError, калі даныя адсутнічаюць; ён не спрабуе іншы маршрут спампоўкі. Выкарыстоўвайце гэты вынік, каб адрозніць адсутную падрыхтоўку ад пазнейшай аперацыі з данымі.

Супастаўце месца кэша на мэце. get_data_home паведамляе пра значэнне па змаўчанні, а SCIKIT_LEARN_DATA або явны data_home могуць яго змяніць. Кэш у хатняй папцы іншага карыстальніка тут аўтаматычна не бачны.

Стварыце кэш з дапамогай сумяшчальнай версіі бібліятэкі і самога fetcher. Архіў tar або створаны ўручную ўнутраны pickle не ўзаемазаменныя з гэтым падтрымоўваным вынікам.

Для жывых спамповак наладзьце асяроддзе проксі фактычнага спампоўніка да запуску Python. Калі хост набора даных публічны і спампоўкі праз публічныя проксі дазволены, спіс HTTP-проксі прапануе кандыдатаў для значэнняў асяроддзя HTTP-проксі спампоўніка. Усталяванне scikit-learn або выкарыстанне ўбудаваных прыкладаў load_* не правярае спампоўку набора даных па сетцы.

Падобныя артыкулы