4

Всем привет. В общем проблема такая: Проект на JAVA и есть NoSQL DB - MongoDB, необходимо работать примерно с 1000000000 записей. Вставка, в пустую таблицу, 5000000 записей, происходит за 13-15 мин, но после вставки 5000000 дальнейший процесс вставки начинает тормозить и чуть ли не в геометрической прогрессии и ОЗУ начинает пожирать немерено. Приоритетной задачей этой БД является поиск (скорость поиска на 10000000 - удовлетворяющая)

Вопрос:

  1. Почему так происходит?
  2. Как это исправить?

Возможные варианты решения:

  1. Каждые 5000000 записей - создавать новую таблицу?

  2. Оптимизация индексов? (у меня поиск по id)

  3. Оптимизация конфига MongoDB?

  4. Оптимизация системы?

  5. Замена БД?

Заранее благодарен за ответ!

1
  • Если не ошибаюсь, все индексы mongodb держит в оперативной памяти. Если id - uuid, он занимает 16 байт на запись, плюс какие-то накладные расходы на струкруру. В общем, подозреваю, что это всё дело перестаёт влазить в память и либо mongodb вообще выкидывает этот индекс, либо начинает работать системный своп, который весьма медленный и аффектает ещё и другие приложения.
    – Qwertiy
    7 июл 2017 в 17:53

1 ответ 1

1

У меня был похожий случай когда я работал с SQLite. Приходилось перейти на MySQL.

Но для миллиарда записей по моему вам надо будет перейти уже на BigTable. Например, на Hadoop, HBase или Cassandra.

Насчет Cassandra если честно не уверен, потому что Facebook сам перешел от Cassandra на HBase хотя сами разработали ее.

8
  • Спасибо. Вероятно Вы правы, что придется менять у меня в данный момент уже есть бока и кассандрой к примеру: Таким образом наверное придется еще HBase покрутить ну и Hadoop вероятно тоже. Просто в моем распоряжении только одна нода и маловероятно что заказчик раскошелится еще на несколько. Кстати говоря Вы что либо знаете о Aerospike ? на всякий случай мои координаты avkcorporation@gmail.com Спасибо. продолжение в след. коменте
    – Alex
    7 июл 2017 в 17:02
  • MongoDB-3.4 WiredTiger Cassandra - datastax-3.9.0 На счет инсертов: Монга - сингл инсерты 1млн=2мин 12с, до 5 млн скорость примерно такая же, после начинает круто уменьшаться 5млн=12-15мин - "батчинг" 1млн = 33сек, с каждым последующим скорость также уменьшается. в общем сегодня был результат 1млн= 2 мин на 5млн подождал 10 мин и вырубил конфиг по умолчанию
    – Alex
    7 июл 2017 в 17:03
  • Касандра - сингл инсерты 1млн=27мин скорость вставки постоянная тестил всю ночь )) - батчинг - 1млн=48с. но после 2го-3го млн. Вылетает WriteTimeoutException и пока что толком не разобрался что происходит дальше. В принципе немного поковыряв конфиг касандры, раздуплил батчинг до 4-5млн но потом снова получаю WriteTimeoutException Также проводя исследования с помощью JProfiler выяснил что скорость вставки действительно падает после каждого миллиона и нагрузка на проц увеличивается, GC начинает НЕ отрабатывать.
    – Alex
    7 июл 2017 в 17:03
  • Увы я не изучил другие БД кроме SQL подобных углубленно.
    – Vanguard
    7 июл 2017 в 17:07
  • Хотя запуск GC в ручном режиме, тоже - не помогает
    – Alex
    7 июл 2017 в 17:07

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.