1

Я думаю с подобным вопросом уже сталкивались хостинги.

У меня вопрос следующего содержания:
Есть хостинг услуг для пользователей (их будет порядка 10 тысяч), по хранению и обработке информации на MSSQL2017 или PostgreSQL.

Есть 1000 пользователей на сервер, у каждого пользователя есть по 4 своих таблицы (1000пользователей*4таблицы=4000таблиц). Количество записей в каждой таблице порядка 100 000.

"Таблица 1" - (id-int, Data-nvarcha(max),
"Таблица 2" - (id-int, Data-int),
"Таблица 3" - (id-int, Data-Float),
"Tаблица 4" - (id-int, Data-bool).

В базу будут добавляться данные и удаляться наиболее старшие записи.

Вопрос по производительности: Лучше Создать каждому пользователю по 4 таблице в каждой базе, или по 4 таблице каждому пользователю в единой базе?

6
  • 1
    А каким образом пользователи получают доступ к таблицам, подключаясь непосредственно к БД или всегда через какие нибудь ваши программные механизмы (вроде api или пользовательского web интерфейса). А то может и не делать вообще отдельные таблицы ...
    – Mike
    1 июл 2019 в 13:43
  • Вопрос в скорости работы или в безопасности? 1 июл 2019 в 13:45
  • Пользователи будут получать доступ через API, в MSSQL будут готовые процедуры... Вопрос скорее по производительности БД... Если есть варианты по смене БД, то вполне могу сменить... Еще все на стадии разработки.
    – Antonio
    1 июл 2019 в 13:55
  • 3
    Пока что из описания получается одна или две таблицы на всех пользователей: таблица юзеров и таблица данных с тремя колонками (плюс колонки ключа и т. п.) Опишите подробнее, какая именно информацию будет храниться. 1 июл 2019 в 16:07
  • 1
    Как я понял, 10 тысяч - это про клиентов хостинга. Где хранить пользовательские данные - конечно давать им создавать свои базы. Если речь о данных по учёту ваших клиентов - это отдельное приложение(вполне рядовое) в одной базе. Не нужно создавать отдельные множества таблиц, а тем более баз каждому клиенту. Храните все данные в общем датасете. В общем одна таблица клиентов с аутентификационными данными, а остальные таблицы(услуги, домены и т.п.) ссылаются на pk таблицы клиентов.
    – vp_arth
    2 июл 2019 в 18:40

2 ответа 2

1

Хранение в виде отдельных таблиц и отдельных баз несет огромные накладные расходы. Прежде всего, на кэширование планов выполнения. SELECT написанный для одного пользователя не будет разделять план выполнения с точно такми же SELECT-ом для другого. Будет тормозить, особенно на холодном старте.

К тому же отдельные базы или таблицы будут тупо выдавливать друг друга из кэша, и у вас будет состояние постоянного холодного старта :)

Оба ваши варианта, к сожалению, плохи.


То, что вы разрабатываете, называется multi-tenant приложение.

Если

  • Структура таблиц для каждого пользователя одинаковая (поля те же, типы данных те же)
  • Количество данных для каждого пользователя примерно одинаковое (нет жестких перекосов вида пара строк для одного - миллионы для другого)

то нет никакого смысла хранить данные пользователей в раздельных таблицах или раздельных базах. Добавьте в каждую таблицу поле UserID (а лучше - TenantID, это стандартная терминология):

"Таблица 1" - (tenantid-int, id-int, Data-nvarchar(max)),
"Таблица 2" - (tenantid-int, id-int, Data-int),
"Таблица 3" - (tenantid-int, id-int, Data-Float),
"Tаблица 4" - (tenantid-int, id-int, Data-bool).

... и добавьте во все запросы фильтры WHERE TenantID = @CurrentUserID.

Если нужен более строгий и надежный фильтр - используйте Row Level Security вместо ручного WHERE.

И все будет работать без тысяч таблиц и тысяч отдельных баз, на 4 обычных таблицах.

Если перекос по данным есть - то выносите отдельных проблемных (крупных) клиентов в отдельные базы, и роутите туда SQL запросы, с сохранением всей структуры.

Это стандартная схема для Multi-tenant SaaS, у MS есть есть подробная документация по архитектуре и готовый пример поверх Azure SQL Server.

3
  • Если все будет в одной БД храниться, то предлагаете для всех пользователей вести в совместных таблицах ? Если суммарное количество записей в каждой таблице выростет до 100 000зап*1000пользователей=100млн записей! Может быстрее работать БД будет с 1000 пользв*4табл?
    – Antonio
    4 июл 2019 в 18:55
  • @Antonio да, я предлагаю хранить данные всех пользователей в совместных таблицах. Это самый эффективный вариант в вашем случае. У меня сейчас на проде есть таблицы по 100m записей с разбиением о tenantid. Все отлично работает. Нет, база с 4000 таблиц работать быстрее не будет, наборот, будет работать намного медленнее из-за невозможности переиспользовать планы выполнения. Да ещё и при добавлении пользователя вам придется создавать таблицы на лету, а это глобальный лок на всю базу. Кроме того, она будет реально неподдерживаемой, следующий dba вас проклянёт :)
    – user177221
    4 июл 2019 в 19:29
  • попробую создать 4 таблички, создать ключи, наполнить их по максимуму и погонять по полной )
    – Antonio
    5 июл 2019 в 9:30
0

Если я правильно вас понял, вы неправильно понимаете принцип баз данных. Таблица это сборник данных("отдельный файл"), где каждому отдельному пользователю отводится (горизонтальная) стока.

Пример структуры базы данных:

Пример структуры

Пример структуры моей таблицы введите сюда описание изображения

  • Если вам нужно, чтобы пользователи могли редактировать типы данных-тогда отдельные таблицы
  • Если если пользователи могут менять количество таблиц тогда базы
  • Если у вас будет хранится какая-то типизирования информация о пользователях, которой они могут обратятся, тогда тогда общая таблица. И при запросе данных требуйте два поля ID и ключ
2
  • Судя по всему я не так выразился ) Есть 1000 пользователей, у каждого пользователя есть по 4 своих таблицы (1000*4=4000таблиц). Количество записей в каждой таблице порядка 100 000. Таблица 1 - (id-int,Data-nvarcha(max), Таблица 2 (id-int,Data- int), Таблица 3 - (id-int,Data-Float), таблица 4 - (id-int,Data-bool). В базу будут добавляться данные и удаляться наиболее старшие записи. Вопрос по производительности: Лучше Создать каждому (1000) пользователю по 4 таблице в каждой базе, или по 4 таблице в единой базе?
    – Antonio
    3 июл 2019 в 6:04
  • На мой взгляд, отдельные базы
    – Walker
    3 июл 2019 в 13:12

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.