1

Доброго времени суток! Нужна ваша помощь. Сразу прошу прощения, если уже где-то это было, но, честно, искал и ничего подходящего не нашел. Начинаем новый проект (java, spring, tomcat) и столкнулись с проблемой выбора хранилища. Дело в том, что данные у нас такого вида:

[{id:1, name:"test", relationships: [1, 2, 3, 4], charges: [{name:"charge1", type:1, validFor: {from:"", to:""}}...]}]

В общем, есть json под 1 Мб, в котором часть данных денормализованы и вложены в сам документ, а часть это идентификаторы других сущностей. Суть в том, что нам нужно хранить такой документ у себя и работать с ним (поиск по параметрам, редактирование и т.д.). Сначала попробовали положить все в PostgreSQL, так как есть реляция, но получилось что-то жуткое, около 200 таблиц и жуткие джойны в запросах, также столкнулись с проблемой, что сам документ и сущности, связанные с ним, часто меняются (добавляются и удаляются какие-то поля и связки с другими сущностями). Отсюда, решили, что в реляционку он плохо ложится, начали смотреть в сторону NoSQL и заглохли, так как опыта такого у нас нет, а вариантов куча. Думали, что можно денормализовать все данные, чтобы избавиться от реляции, но тогда получится, что при изменении общей сущности, нам придется пробежать по всем документам, которые содержат ее, а это, как нам кажется, не очень хорошая идея. Первое, что бросилось в глаза и что идеально подходит нам по функционалу, так это Amazon SimpleDb, но он платный и это сторонний сервис, заказчик никогда не согласится хранить свои данные на сторонних сервисах, поэтому все сервера должны быть у нас.

Поэтому вопрос №1: Что бы вы посоветовали, в принципе, для хранения таких данных и работы с ними?

Также, к сожалению, стоит задача хранения истории изменений каждого документа, включая сущности, связанные с ним, нужно, чтобы пользователь мог посмотреть историю изменений документа (что, кем и когда изменилось), при желании откатить их, а также посмотреть список всех документов и их изменений в рамках проекта (грубо говоря это название групповых изменений)

Отсюда вопрос № 2: Как лучше всего реализовать это в хранилище из вопроса 1?

5
  • elastic или mongodb, как вариант. Если у вас есть BIG DATA и HDFS - Solr. Сколько данных? Примерно
    – chubatiy
    24 ноя 2016 в 8:41
  • Честно говоря, дело пахнет холиваром. 200 таблиц само по себе не хорошо и не плохо, в любой банковской АБС с 200 таблиц все только начинается... И ничего, сидят себе на реляционных базах. И, как обычно, напрашивается "делайте на том, на чем умеете".
    – Dmitriy
    24 ноя 2016 в 9:13
  • @Chubatiy, спасибо за ответ, данных немного, около 200 000. Монгу рассматривали, но, насколько я изучил ее, там нет нормальной транзакционности, а нам нужны групповые операции над документами, также чтобы резолвить отношения по идентификаторам, надо будет делать дополнительные запросы, и в ней есть ограничение на 16Мб документа, а если мы будем хранить историю изменений, то возможно и вылезем за эти пределы (при условии, что история будет храниться в самом документе)
    – DeadMeat
    24 ноя 2016 в 10:46
  • @Dmitry, согласен с вами, 200 таблиц конечно же много, но жить можно, проблема не в их количестве, а в поддержке такого количества, дело в том, что новые поля и новые сущности со связями будут появляться часто (бизнес требования телекома быстро меняются) и каждый раз добавлять и удалять (переносить) колонки и создавать новые таблицы при миграции будет очень сложно, собственно поэтому и смотрим в хранилище с отсутствием строгой схемы.
    – DeadMeat
    24 ноя 2016 в 10:49
  • В постгресе можно совместить обе модели. Там же есть массивы и возможность делать собственные композитные типы. Где хотите денормализовать -- определите тип записей Т и заведите колонку с типом "массив записей Т", а то, на что планируете ссылаться, вынесите в отдельную таблицу. Вы уже рассматривали эти возможности, или смотрели на постгрес только как на РСУБД без денормализации как таковой?
    – user181100
    24 ноя 2016 в 12:19

1 ответ 1

2

Суть в том, что нам нужно хранить такой документ у себя и работать с ним (поиск по параметрам, редактирование и т.д.).

Если структура документа не меняется в процессе работы приложения, т.е. ваш процесс такой - вы договорились о структуре документа приходящего в запросе и в случае изменения его структуры, выпускаете новую версию продукта который будет работать с новой версией запроса. Если так, то по этому свойству вам подходит и РСУБД. Если же формат данных может быть разным при каждом запросе, вряд ли РСУБД будет хорошим вариантом. РСУБД дает вам больше контроля за целостностью данных - контролирует пытки записать в ячейку таблицы данные не соответствующего типа, или не корректные данные в которых часть данных отсутствует. Касаемо NoSQL СУБД вам больше подходят документно-ориентированный тип, т.к. по сути ваш запрос и есть документ в формате JSON, который вы скорее всего в неизменном виде запишите в БД. Такая NoSQL как MongoDB напрямую работает с данными в JSON формате(по факту используется BSON), что позволяет вам сильно упростить операцию записи данных в БД и сосредоточится на разработке инструментов по анализу этих данных. Что по сути и требуется от вашего проекта. Исходя из выше написанного в случае выбора РСУБД вам потребуется потратить дополнительные ресурсы на разработку кода который будет трансформировать ваши данные в реляционный вид, а так же на разработку реляционного представления ваших данных - набора таблиц и связей между ними.

но получилось что-то жуткое, около 200 таблиц и жуткие джойны в запросах

Касаемо таблиц я сформулировал сравнение выше, в случае NoSQL БД хранящей данные в JSON вам не потребуется серьезных дополнительных усилий для записи данных. В случае денормализованной структуры с док.-ор. СУБД у вас есть два варианта решения проблемы:

  1. Полная денормализация - тогда каждый документ будет хранить все составляющие его данные внутри себя и получение и изменение их будет простой задачей. Но вы столкнетесь с проблемами обновления общих сущностей для всего набора документов, т.к. каждый будет содержать её копии.
  2. Все внешние сущности хранить в отдельных документах и ссылаться на них, подход схож с подходом РСУБД и по сути является попыткой нормализовать данные. В данном подходе возникнут те же трудности с "жуткие джойны в запросах" но решаться это будет не посредствам SQL языка а объединением нужных коллекций представляющих документы непосредственно в коде.

По сути оптимальным будет микс этих подходов, вы будите видеть где вам проще хранить данные в виде агрегатов а где использовать ссылки на общие сущности.

также столкнулись с проблемой, что сам документ и сущности, связанные с ним, часто меняются (добавляются и удаляются какие-то поля и связки с другими сущностями).

Данная проблема, которая к тому же связана с предыдущей, может быть легко решена с помощью графовых БД, которые созданы с целю легкого управления множеством сущностей связанных между собой сложным образом. Так же существуют смешанные модели, которые сочетают графовый и документо-ориентированный подход - OrientDB. Этот подход может в вашем случае радикально упростить решение текущей задачи. Но важно понимать, что если ваша система будет обрастать новым функционалом этот подход может быть не оптимальным для нового функционала, и в этом случает вам следует добавить в систему ещё одну субд с подходящим типом - многовариантная персистентность. Я думаю OrientDB или подобная система сочетающая графовый и док.-ориентированный подход, освободит вас от множества проблем связанных с несогласованностью ваших данные и структуры СУБД.

Поэтому вопрос №1: Что бы вы посоветовали, в принципе, для хранения таких данных и работы с ними?

Я бы вам посоветовал OrientDB или аналог. Да вам придется изучить новую технологию. Но крайне важно понимать что самые большие проблемы появляются когда проект уже запущен, устоялся и нужно его активно развивать. Из-за неудачного выбора модели в начале, с ростом сложности проекта, он обрастает проблемами как снежный ком, для внедрения/удаления/модификации нового поля или таблицы вам придется приложить невероятное кол-во усилий, так же для модифиция запросов которые будет затрагивать это изменение. Мой вывод выбирайте систему хранения данных которая будет наиболее естественной для вашей задачи и сосредоточьтесь на решении задачи - анализе данных.

Также, к сожалению, стоит задача хранения истории изменений каждого документа, включая сущности, связанные с ним, нужно, чтобы пользователь мог посмотреть историю изменений документа (что, кем и когда изменилось), при желании откатить их, а также посмотреть список всех документов и их изменений в рамках проекта (грубо говоря это название групповых изменений)

Многие NoSQL СУБД поддерживают встроенный механизм аудита - MongoDB, OrientDB, оба при покупке коммерческой лицензии. Но вы можете поискать решение от коммьюнити или написать самостоятельно.

Подытоживая:

Исходя из описанной вами проблемы, вам подходит СУБД - смесь графовой и документо-ориентированной(оптимально, хранящей данные в JSON). Потому что у вас все данные изначально представлены в JSON и имеют множество связей между собой. Вам привел пример такой СУБД, можете посмотреть в сторону альтернатив.

Перед выбором я вам советую почитать книгу(не большую по размеру) - "NoSQL. Новая методология разработки не реляционных баз данных". Перевод на русский несколько кривоват, но достаточен для понимания что вам могут дать NoSQL БД.

1
  • Спасибо за ответ, мы, действительно, открыли для себя графовые хранилища и видится, что это решение наших проблем, сейчас рассматриваем Neo4j, но воспользуемся вашим советом и рассмотрим еще OrientDB.
    – DeadMeat
    24 ноя 2016 в 15:07

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.