К примеру учетные записи Google, я точно не знаю но скорее всего разные сервера и разные БД в разных регионах, каким образом сервер знает с какой БД брать данные?
-
О каком сервере идет речь?– Roman-Stop RU aggression in UA23 фев 2021 в 19:15
-
@RomanKonoval обычный TCP сервер, думаю вопрос больше к БД но если сервер должен отвечать за ето то мне интересно как– Mike Waters23 фев 2021 в 19:17
-
сервер это программа. Программа при установке соединения с БД должна указать имя хоста и имя БД. Это либо прошито в коде программы, но чаще хранится где-то в конфигурации. Т.е. разные экземпляры сервера запущены с разной конфигурацией, которая указывает к какой БД присоединяться.– Roman-Stop RU aggression in UA23 фев 2021 в 19:20
-
@RomanKonoval так и есть– Mike Waters23 фев 2021 в 19:20
2 ответа
я лишь дополню ответ от @alex just
твоим приложением пользуются во всем мире. тебе надо решить задачу задержки запросов. никому не хочется, чтобы человек из России ждал когда же сервер из США ответит. для этого компании размещают комплекс приложений на разных датацентарх\континентах\странах.
Теперь задача как поделить данные пользователей на разные континенты, и направлять этих пользователей на нужные сервера.
@alex just уже ответил как делятся данные. я дополню только проксированием трафика.
вот компания имеет 3 сервера: в США, в Европе и в Азии. задача заключается в том, чтобы азиаты ходили в сервер в Азии, а европейцы на сервер в Европе. к нам на помощь приходят программы для балансировки нагрузки. Балансировщик определяет куда отправить запрос от пользователя.
на этих трех серверах развернута копия приложения, которые подключаются к своей БД, то есть приложение в США подключается в БД из США.
Сеть выглядит как на картинке: клиенты идут на сервер, балансировщик распрееделяет по серверам.
Этого можно добиться разными вариантами. Как пример проксирование запросов по определенным правилам на разные серверы приложений, которые в свою очередь подключаются к разным серверам приложений/БД.
Если говорить про реализацию этого на стороне БД, то следует применить партиционирование/шардирование.
Партицирование
Позволит разделить данные по некому правилу из одной таблицы на несколько партиций. Это позволит существенно ускорить их чтение. Как простой пример в PostgrSQL:
Есть некая таблица.
CREATE TABLE table_master(
id serial primary key,
categories_id integer not null,
any_value text,
created_on timestamp not null
);
С большим объемом данных, даже при наличии индексов, чтение будет осуществляться медленно. Логичным было бы разнести данные на меньшие таблицы, по заданному правилу.
Возможные варианты:
- это разделение по id, где в 1-ой таблице будут храниться пользователи с id от 1 до 1 000 000, во второй от 1 000 001 до 2 000 000 и т.д.
- Разделение по году/месяцу/да хоть дню created_on, где каждая таблица будет содержать данные за год/месяц/день.
- По id категории. Тогда каждая таблица будет отвечать за свою категорию.
Как правильно выбирать? Стоит обратить внимание поддержку (как сложно будет создавать новую партицию/можно ли сделать это автоматически), на сколько сбалансированными будут партиции (не будет ли таблица с категорией 1 содержать 100 записей, а с категорией 2 - 1 000 000 000 записей).
Пример создания партиции:
CREATE TABLE table_1 ( like table_master including all ) inherits (table_master);
ALTER TABLE table_1 add CONSTRAINT partition_check CHECK (id >= 0 and id < 1000000);
Первая команда создаст партицию, like table_master including all
позволит перенести все мета данные (индексы, внешние ключи и тд). Вторая команда даст ограничение по хранимым строкам. И такие партиции требуется создать для всего набора записей.
Само собой это не надо делать вручную, тем более когда набор ограничений не конечный. Как один из вариантов - настроить тригер на таблицу, для создания партиций.
Важный момент, что INSERT
в таблицу table_master автоматически не будет переносить данные в партиции. Для этого потребуется создать дополнительный тригер.
SELECT * FROM teable_master WHERE id = 25;
Если посмотреть на план этого запроса, после выполненных операций, то мы увидим сканирование двух таблиц teable_master
и table_1
. Для обращение только к таблице партиции (что в сущности не обязательно, так как table_master
не должна хранить данные и сканирование происходит мгновенно) нужно писать ее имя. Для обращение только к таблице table_master
(если это все же необходимо) нужно использовать SELECT * FROM ONLY teable_master WHERE id = 25;
.
Есть достаточно много ограничений связанных с партиционированием, которые следует помнить (отсутствие возможности ссылаться внешним ключом на партицию, особенности выбора в качестве CONSTRAIN
не определенную величину а функцию, и тд). Подробнее.
Шардинг
В сущности, единственно чем отличается от партиционирования - это тем, что партиции лежат на разных серверах БД, и требует более сложной настройки и поддержки. Статья на эту тему.