Суть в том, что нам нужно хранить такой документ у себя и работать с
ним (поиск по параметрам, редактирование и т.д.).
Если структура документа не меняется в процессе работы приложения, т.е. ваш процесс такой - вы договорились о структуре документа приходящего в запросе и в случае изменения его структуры, выпускаете новую версию продукта который будет работать с новой версией запроса. Если так, то по этому свойству вам подходит и РСУБД. Если же формат данных может быть разным при каждом запросе, вряд ли РСУБД будет хорошим вариантом. РСУБД дает вам больше контроля за целостностью данных - контролирует пытки записать в ячейку таблицы данные не соответствующего типа, или не корректные данные в которых часть данных отсутствует. Касаемо NoSQL СУБД вам больше подходят документно-ориентированный тип, т.к. по сути ваш запрос и есть документ в формате JSON, который вы скорее всего в неизменном виде запишите в БД. Такая NoSQL как MongoDB напрямую работает с данными в JSON формате(по факту используется BSON), что позволяет вам сильно упростить операцию записи данных в БД и сосредоточится на разработке инструментов по анализу этих данных. Что по сути и требуется от вашего проекта. Исходя из выше написанного в случае выбора РСУБД вам потребуется потратить дополнительные ресурсы на разработку кода который будет трансформировать ваши данные в реляционный вид, а так же на разработку реляционного представления ваших данных - набора таблиц и связей между ними.
но получилось что-то жуткое, около 200 таблиц и жуткие джойны в
запросах
Касаемо таблиц я сформулировал сравнение выше, в случае NoSQL БД хранящей данные в JSON вам не потребуется серьезных дополнительных усилий для записи данных. В случае денормализованной структуры с док.-ор. СУБД у вас есть два варианта решения проблемы:
- Полная денормализация - тогда каждый документ будет хранить все
составляющие его данные внутри себя и получение и изменение их будет
простой задачей. Но вы столкнетесь с проблемами обновления общих
сущностей для всего набора документов, т.к. каждый будет содержать
её копии.
- Все внешние сущности хранить в отдельных документах и ссылаться на
них, подход схож с подходом РСУБД и по сути является попыткой
нормализовать данные. В данном подходе возникнут те же трудности с
"жуткие джойны в запросах" но решаться это будет не посредствам SQL
языка а объединением нужных коллекций представляющих документы
непосредственно в коде.
По сути оптимальным будет микс этих подходов, вы будите видеть где вам проще хранить данные в виде агрегатов а где использовать ссылки на общие сущности.
также столкнулись с проблемой, что сам документ и сущности, связанные
с ним, часто меняются (добавляются и удаляются какие-то поля и связки
с другими сущностями).
Данная проблема, которая к тому же связана с предыдущей, может быть легко решена с помощью графовых БД, которые созданы с целю легкого управления множеством сущностей связанных между собой сложным образом.
Так же существуют смешанные модели, которые сочетают графовый и документо-ориентированный подход - OrientDB. Этот подход может в вашем случае радикально упростить решение текущей задачи. Но важно понимать, что если ваша система будет обрастать новым функционалом этот подход может быть не оптимальным для нового функционала, и в этом случает вам следует добавить в систему ещё одну субд с подходящим типом - многовариантная персистентность.
Я думаю OrientDB или подобная система сочетающая графовый и док.-ориентированный подход, освободит вас от множества проблем связанных с несогласованностью ваших данные и структуры СУБД.
Поэтому вопрос №1: Что бы вы посоветовали, в принципе, для хранения
таких данных и работы с ними?
Я бы вам посоветовал OrientDB или аналог. Да вам придется изучить новую технологию. Но крайне важно понимать что самые большие проблемы появляются когда проект уже запущен, устоялся и нужно его активно развивать. Из-за неудачного выбора модели в начале, с ростом сложности проекта, он обрастает проблемами как снежный ком, для внедрения/удаления/модификации нового поля или таблицы вам придется приложить невероятное кол-во усилий, так же для модифиция запросов которые будет затрагивать это изменение.
Мой вывод выбирайте систему хранения данных которая будет наиболее естественной для вашей задачи и сосредоточьтесь на решении задачи - анализе данных.
Также, к сожалению, стоит задача хранения истории изменений каждого
документа, включая сущности, связанные с ним, нужно, чтобы
пользователь мог посмотреть историю изменений документа (что, кем и
когда изменилось), при желании откатить их, а также посмотреть список
всех документов и их изменений в рамках проекта (грубо говоря это
название групповых изменений)
Многие NoSQL СУБД поддерживают встроенный механизм аудита - MongoDB, OrientDB, оба при покупке коммерческой лицензии. Но вы можете поискать решение от коммьюнити или написать самостоятельно.
Подытоживая:
Исходя из описанной вами проблемы, вам подходит СУБД - смесь графовой и документо-ориентированной(оптимально, хранящей данные в JSON). Потому что у вас все данные изначально представлены в JSON и имеют множество связей между собой. Вам привел пример такой СУБД, можете посмотреть в сторону альтернатив.
Перед выбором я вам советую почитать книгу(не большую по размеру) - "NoSQL. Новая методология разработки не реляционных баз данных". Перевод на русский несколько кривоват, но достаточен для понимания что вам могут дать NoSQL БД.