Вопрос по scikit-learn: какой максимальный объем обучающих данных может обработать эта библиотека? Если я правильно понимаю, то данные для обработки сначала загружаются в ОЗУ. Может ли эта библиотека обработать объем данных в 10 Гб (разом или частями), если оперативка позволяет загружать намного больше?
1 ответ
Трудно дать однозначный ответ на этот слишком общий вопрос.
Практически все известные мне методы и функции в sklearn
могут работать с данными только в памяти. Причем многие методы создают дополнительные копии данных (или части данных) в памяти.
Но некоторые методы (например CountVectorizer, TfidfVectorizer) возвращают сжатые матрицы sparsed matrix
, которые занимают намного меньше места в памяти (все нулевые значения, которых обычно 90+% - практически не занимают места в памяти) - это здОрово экономит память.
В общем у вас для одних и тех же данных могут возникнуть или не возникнуть проблемы с нехваткой памяти, в зависимости от того что вы делаете и как вы это делаете...
-
1Жаль, что у меня нет пока системных знаний по этому поводу. Из того, что я понял, читая статьи в scikit-learn, некоторые классификаторы поддерживают функции частичного обучения partial_fit. На сайте этой библиотеки есть статья, посвященная обработке объемов данных, не помещающихся в ОЗУ. Кроме того, есть пример использования partial_fit. Пока разбираюсь. 18 мар 2017 в 6:02
-
@GlassedMichail, спасибо за ссылку! Я теперь тоже буду разбираться с этим шикарным примером 18 мар 2017 в 8:42