2

Приветствую великие умы stackoverflow. Недавно устроился на новую работу, где разрабатывается огромный проект. Вот действительно огромный. А на огромный проект, конечно приходится огромный объём данных. Давайте по порядку.

Тонкости проекта не могу поведать ибо какая-то тайна компании, но попробую описать обособлено.

Суть вопроса

Есть, условно говоря, площадки, которые скупаются, выставляются на торги и перепродаются. К этим площадкам привязаны фотоотчёты с множеством фотографий с разными типами. Так же к этим площадкам привязаны события. Продажа, покупка, обустройство, дата строительства и всё в таком духе. Кроме всего прочего к этим же площадкам привязаны ещё некоторые элементы. И вроде бы пока структура базы данных лаконична, до одного момента.

Площадки привязаны к определённому пользователю, условно говоря, а пользователей может быть сотни. Без преувеличений. И такая проблема, что площадки могут пересекаться. Разные пользователи могут владеть одной и той же площадкой.

В текущей ситуации под каждого такого пользователя создаются таблицы в базе данных, сколько точно не скажу, но больше десяти точно. Где хранятся площадки, фотографии, события и всё остальное, что привязано к площадке. Мне кажется, такой подход не совсем верный. Нагромождения таблиц и последующие изменения вызывают сложности, как мне кажется.

1-ый вопрос. Такой подход именно на данный проект уместен или это как была дич, так и осталась?

2-ой вопрос. Я хочу предложить изменить структуру (благо они сами хотят найти оптимальные решения). Что-то вроде создать таблицу пользователей, таблицу площадок и собственно связать каждого пользователя с отдельными площадками. Тогда возникает вопрос, случится ли беда с ID ибо чувствую там может дойти и до триллиардов. Стоит ли такая идея жизни?

3-ий вопрос. Сталкивались ли вы с подобными огромными проектами и какие решения видели вы.

Лично для меня это первый проект таких масштабов.

4
  • 1
    Под ID используйте bigint, его должно хватить. Вам там ниже правильно советуют - берите другую БД (если возможно), с MySQL масса проблем. Особенно когда начнет не хватать одного сервера и понадобиться репликация. Она у MySQL конечно есть ... Но вот позавчера у нас некорректно завершился один сервер (на MySQL) ... состояние репликации слетело, базы разошлись. Сверить 200 млн строк задача та еще ...
    – Mike
    20 июл 2018 в 6:56
  • 1
    И да, таблицы должны создаваться при разработке приложения, в процессе работы они создаваться не должны. Так что все объекты в одной таблице, с id пользователя. Или связка объект-пользователь в отдельной таблице, если объект действительно один и тот же, со всеми атрибутами, а управляющих несколько. И фотографии я бы хранил не в БД, а в БД только пути к ним и возможно md5, что бы одинаковые фото 10 раз не хранить
    – Mike
    20 июл 2018 в 6:58
  • Сами по себе фотографии хранятся на сервере, а в базе хранится путь до них, конечно. О репликации речи пока и не заходит. Спасибо за ответы, кстати :3 20 июл 2018 в 9:55
  • в чем огромность проекта, таки не раскрыто. "сотни пользователей" - это значит 200 пользователей... сколько площадок - не озвучено. ну тогда включаю режим ВАНГА. ок, площадок всего 124. и всё??!!)) 16 авг 2018 в 13:23

1 ответ 1

1
  1. Подход не верный, правильно: новый пользователь = новая запись в таблице пользователей
  2. Используйте 'мощные' СУБД Oracle, Postgres и др. дабы иметь меньше проблем с большими данными. А триллиард записей, это можно хранить (к примеру максимальное значение PKey в PSQL 9223372036854775807), но использовть будет сложновато ввиду снижения производительности
  3. Сталкивался, решение описал выше ;) Удачи!
3
  • При такой системе как упростить поиск информации? То есть чтобы сервер не слёг в поисках конструкций и информации по конструкции (фотографий, событий и всего прочего)? 20 июл 2018 в 9:45
  • Я пока вижу только что-то типа хранения временной информации в таблицах, по типу хранения ID конструкций и связанных с ними элементов, чтобы не искать всё это раз за разом в базе данных. Но смутно пока представляю как это будет работать ибо никогда, повторюсь, не сталкивался с таким огромным объёмом данных. 20 июл 2018 в 9:47
  • @ПавелБаранов При выборке большого количества объектов конечно каждый join это серьезное снижение производительности. Обычно решается хранением уже собранной по всем таблицам информации к конкретному объекту. Т.е. приходиться дублировать информацию и еще ее как то синхронизировать, например триггерами. Так же можно рассмотреть хранение нужной суммарной информации в кеше, например в Redis
    – Mike
    20 июл 2018 в 10:41

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.