1

Я думаю с подобным вопросом уже сталкивались хостинги.

У меня вопрос следующего содержания:
Есть хостинг услуг для пользователей (их будет порядка 10 тысяч), по хранению и обработке информации на MSSQL2017 или PostgreSQL.

Есть 1000 пользователей на сервер, у каждого пользователя есть по 4 своих таблицы (1000пользователей*4таблицы=4000таблиц). Количество записей в каждой таблице порядка 100 000.

"Таблица 1" - (id-int, Data-nvarcha(max),
"Таблица 2" - (id-int, Data-int),
"Таблица 3" - (id-int, Data-Float),
"Tаблица 4" - (id-int, Data-bool).

В базу будут добавляться данные и удаляться наиболее старшие записи.

Вопрос по производительности: Лучше Создать каждому пользователю по 4 таблице в каждой базе, или по 4 таблице каждому пользователю в единой базе?

6
  • 1
    А каким образом пользователи получают доступ к таблицам, подключаясь непосредственно к БД или всегда через какие нибудь ваши программные механизмы (вроде api или пользовательского web интерфейса). А то может и не делать вообще отдельные таблицы ...
    – Mike
    1 июл 2019 в 13:43
  • Вопрос в скорости работы или в безопасности? 1 июл 2019 в 13:45
  • Пользователи будут получать доступ через API, в MSSQL будут готовые процедуры... Вопрос скорее по производительности БД... Если есть варианты по смене БД, то вполне могу сменить... Еще все на стадии разработки.
    – Antonio
    1 июл 2019 в 13:55
  • 3
    Пока что из описания получается одна или две таблицы на всех пользователей: таблица юзеров и таблица данных с тремя колонками (плюс колонки ключа и т. п.) Опишите подробнее, какая именно информацию будет храниться. 1 июл 2019 в 16:07
  • 1
    Как я понял, 10 тысяч - это про клиентов хостинга. Где хранить пользовательские данные - конечно давать им создавать свои базы. Если речь о данных по учёту ваших клиентов - это отдельное приложение(вполне рядовое) в одной базе. Не нужно создавать отдельные множества таблиц, а тем более баз каждому клиенту. Храните все данные в общем датасете. В общем одна таблица клиентов с аутентификационными данными, а остальные таблицы(услуги, домены и т.п.) ссылаются на pk таблицы клиентов.
    – vp_arth
    2 июл 2019 в 18:40

2 ответа 2

1

Хранение в виде отдельных таблиц и отдельных баз несет огромные накладные расходы. Прежде всего, на кэширование планов выполнения. SELECT написанный для одного пользователя не будет разделять план выполнения с точно такми же SELECT-ом для другого. Будет тормозить, особенно на холодном старте.

К тому же отдельные базы или таблицы будут тупо выдавливать друг друга из кэша, и у вас будет состояние постоянного холодного старта :)

Оба ваши варианта, к сожалению, плохи.


То, что вы разрабатываете, называется multi-tenant приложение.

Если

  • Структура таблиц для каждого пользователя одинаковая (поля те же, типы данных те же)
  • Количество данных для каждого пользователя примерно одинаковое (нет жестких перекосов вида пара строк для одного - миллионы для другого)

то нет никакого смысла хранить данные пользователей в раздельных таблицах или раздельных базах. Добавьте в каждую таблицу поле UserID (а лучше - TenantID, это стандартная терминология):

"Таблица 1" - (tenantid-int, id-int, Data-nvarchar(max)),
"Таблица 2" - (tenantid-int, id-int, Data-int),
"Таблица 3" - (tenantid-int, id-int, Data-Float),
"Tаблица 4" - (tenantid-int, id-int, Data-bool).

... и добавьте во все запросы фильтры WHERE TenantID = @CurrentUserID.

Если нужен более строгий и надежный фильтр - используйте Row Level Security вместо ручного WHERE.

И все будет работать без тысяч таблиц и тысяч отдельных баз, на 4 обычных таблицах.

Если перекос по данным есть - то выносите отдельных проблемных (крупных) клиентов в отдельные базы, и роутите туда SQL запросы, с сохранением всей структуры.

Это стандартная схема для Multi-tenant SaaS, у MS есть есть подробная документация по архитектуре и готовый пример поверх Azure SQL Server.

3
  • Если все будет в одной БД храниться, то предлагаете для всех пользователей вести в совместных таблицах ? Если суммарное количество записей в каждой таблице выростет до 100 000зап*1000пользователей=100млн записей! Может быстрее работать БД будет с 1000 пользв*4табл?
    – Antonio
    4 июл 2019 в 18:55
  • @Antonio да, я предлагаю хранить данные всех пользователей в совместных таблицах. Это самый эффективный вариант в вашем случае. У меня сейчас на проде есть таблицы по 100m записей с разбиением о tenantid. Все отлично работает. Нет, база с 4000 таблиц работать быстрее не будет, наборот, будет работать намного медленнее из-за невозможности переиспользовать планы выполнения. Да ещё и при добавлении пользователя вам придется создавать таблицы на лету, а это глобальный лок на всю базу. Кроме того, она будет реально неподдерживаемой, следующий dba вас проклянёт :)
    – user177221
    4 июл 2019 в 19:29
  • попробую создать 4 таблички, создать ключи, наполнить их по максимуму и погонять по полной )
    – Antonio
    5 июл 2019 в 9:30
0

Если я правильно вас понял, вы неправильно понимаете принцип баз данных. Таблица это сборник данных("отдельный файл"), где каждому отдельному пользователю отводится (горизонтальная) стока.

Пример структуры базы данных:

Пример структуры

Пример структуры моей таблицы введите сюда описание изображения

  • Если вам нужно, чтобы пользователи могли редактировать типы данных-тогда отдельные таблицы
  • Если если пользователи могут менять количество таблиц тогда базы
  • Если у вас будет хранится какая-то типизирования информация о пользователях, которой они могут обратятся, тогда тогда общая таблица. И при запросе данных требуйте два поля ID и ключ
2
  • Судя по всему я не так выразился ) Есть 1000 пользователей, у каждого пользователя есть по 4 своих таблицы (1000*4=4000таблиц). Количество записей в каждой таблице порядка 100 000. Таблица 1 - (id-int,Data-nvarcha(max), Таблица 2 (id-int,Data- int), Таблица 3 - (id-int,Data-Float), таблица 4 - (id-int,Data-bool). В базу будут добавляться данные и удаляться наиболее старшие записи. Вопрос по производительности: Лучше Создать каждому (1000) пользователю по 4 таблице в каждой базе, или по 4 таблице в единой базе?
    – Antonio
    3 июл 2019 в 6:04
  • На мой взгляд, отдельные базы
    – Walker
    3 июл 2019 в 13:12

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.