0

Есть нейронная сеть с объёмом обучающих данных в размере 1.5 миллионов записей и размером словаря в 20.000 тысяч слов. Для того объёма нужно сотни гигабайт оперативной памяти. Есть ли сервисы предоставляющее подобные мощности за относительно небольшие деньги?

2
  • Откуда она есть, если у вас логически не хватает памяти? как вы поняли. что там 1.5 миллиона записей? Нестыковочки.
    – And
    10 дек 2018 в 11:45
  • каждая запись это 1 строка в текстовом файле 10 дек 2018 в 13:18

2 ответа 2

3

Вообще-то обучающие данные, поступающие на вход нейронной сети и объем памяти, необходимый для представления нейронной сети - это как бы разные вещи. Ну, хотя-бы потому, что данные можно подавать на вход нейронки для обучения последовательно, пример за примером, в не всем скопом. Так что ваши полтора миллиона записей вполне могут быть обработаны на каких нибудь 16 или 32 ГБ оперативки.

P.S. Или вы перепутали нейронную сеть и "жадный алгоритм классификации" типа k-NN? Так и в последнем даже случае влезть в десяток гигабайт с вашими данными - в общем-то не проблема.

2

посмотрите в сторону colab.research (статья на хабре)

из плюсов:

  • неплохие вычислительные мощности
  • бесплатно

из минусов - есть ограничения (при желании обходятся)

Микрософт тоже дает халявные ~ 10 000 (виртуальных) рублей/мес, которые можно использовать чтобы подснять вычислительные мощности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.