1

Имеется таблица пользователей, в которую ежедневно должна заноситься история изменения их состояния:

CREATE TABLE IF NOT EXISTS `users` (
    `user_id` BIGINT UNSIGNED NOT NULL
    , `day` INTEGER UNSIGNED NOT NULL
    , `action` TINYINT(1) UNSIGNED NOT NULL
    , PRIMARY KEY(`user_id`,`day`)
    , INDEX(`day`)
)

Колонка day - номер дня, колонка action - событие о том, добавлен ли пользователь (значение, например, "1") или был удалён (значение "0").

Проблема заключается в том, что пользователей очень много (от 1 миллиона) и требуется выполнять синхронизацию с поступившими данными максимально возможно быстро и экономно в отношении расхода памяти.

Поступающие данные (из сети) по пользователям можно аккумулировать в отдельной таблице, а затем уже производить синхронизацию. Собственно, я так и поступил, однако в связи с тем, что это - таблица истории, а не, скажем, просто текущего состояния, запросы на синхронизацию становятся очень ресурсоёмкими. Например приходится учитывать, что каждый из пользователей может быть удалён (значение в action - "0"), а спустя день вновь добавлен (значение "1"). И такие "качели" (добавлен-удалён-добавлен) могут происходить изо дня в день.

Возможно имеет смысл перед синхронизацией создать отдельную таблицу, куда скинуть всех пользователей с их текущим состоянием, т.е. создать этакий снимок их состояний на текущий момент. Произвести синхронизацию поступивших данных с этой временной таблицей и лишь затем только изменивших своё состояние пользователей перезаписать в целевой таблице. Но у меня, к сожалению, нет уверенности, что данный подход будет быстрее работать, поскольку так или иначе всё равно потребуется прочитать целевую таблицу полностью с тем, чтобы сделать копию последних на момент синхронизации состояний.

Возможно имеется решение интереснее, нежели чем то, что мне удалось придумать. Прошу подсказать.

Update

Поступающие на синхронизацию данные - это список идентификаторов пользователей, которые имеются на текущий момент времени.

Update 2

Список пользователей приходит изо дня в день почти один и тот же, но с изменениями для некоторого кол-ва пользователей. Части из них, что были ранее, не будет, но появляются и новые. Вот эту разницу в составе и нужно определять, дописывая в таблицу истории строки с изменениями по каждому пользователю, если таковые были. Если же пришедшие данные такие же, что есть в целевой таблице (списки пользователей равны), то целевая таблица вообще не меняется.

11
  • Как то странно смотрится "номер дня" почему например не два поля "интервал дат" что бы не городить подряд кучу одинаковых записей 1 1 1. А поступающие извне данные в каком виде, типа списка id пользователей которые сегодня есть ?
    – Mike
    18 апр 2016 в 12:46
  • @Mike , вместо номера дня можно просто таймстамп или что-то ещё, суть роли не меняет. Просто получается, что для каждого пользователя нужно вести дату, когда с ним что-то произошло (добавлен или удалён). Если изменений не было, то есть, например, он был ранее добавлен, а на следующий день в пришедших данных он всё также значится, то ничего не меняем и не добавляем. А поступающие данные, Вы правы, это именно список идентификаторов пользователей, что есть на текущий момент.
    – user177227
    18 апр 2016 в 12:53
  • @Mike , я опечатался, когда писал вопрос. В PRIMARY KEY две колонки: и user_id, и day. То есть важно сохранить все изменения состояний и когда они произошли.
    – user177227
    18 апр 2016 в 13:00
  • 1
    Ну так в базе продолжать хранить историю. А скрипт загрузчик после того как запишет в базу очередную порцию данных последнее состояние пишет в своем формате на диск. Без упаковки 1 млн записей от 1 до 1 млн занимает 8 Мб. При следующей загрузке он поднимает с диска последнее состояние и сверяет с ним, не вычитывая заново БД
    – Mike
    18 апр 2016 в 13:50
  • 1
    Думаю да, с ней гораздо проще сверять. Если в sql через full outer join переклеил две таблицы - вот и вся разница. Дальнейшая оптимизация - вынесение из базы текущих состояний для сверки в ОЗУ
    – Mike
    18 апр 2016 в 13:57

1 ответ 1

2

Сверять проще списки ID без дополнительной информации. Нам надо хранить в отдельной таблице список ID пользователей, которые в данный момент считаются существующими (ваш статус 1 в таблице истории). Хранить id не существующих в последней редакции вообще не нужно. Загружаем в временную таблицу новый входящий список и сверяем запросом вроде:

insert into hystory(id, dt, state)
select id, now(), 1
  from NEW left join OLD on NEW.id=OLD.id
 where OLD.id is null
union
select id, now(), 0
  from NEW right join OLD on NEW.id=OLD.id
 where NEW.id is null

После чего нам надо еще удалить/добавить записи в таблицу последнего состояния. Если БД не MySQL и поддерживает операции FULL OUTER JOIN или MINUS это упростит запрос в 2 раза.

Вариант 2: Если у нас в БД много подряд идущих или близко расположенных ID то можно пробовать хранить текущее состояние в виде записей содержащих начальный ID диапазона из 64 значений и битовую маску в виде bitint в которой существующие на данный момент ID отмечены единичными битами. Сравнивающий запрос строит входящие ID в таком же формате, переклеивает таблицы и битовыми операциями находит разницу.

Вариант 3: Производить сравнение списков старых и новых ID не в БД, а в внешнем скрипте. Список из 1 млн значений легко сравнивается в оперативной памяти за пару секунд. После чего в БД в таблицу истории пишутся изменения. А скрипт сохраняет новый текущий список существующих id в файл на диск в формате, удобном скрипту для быстрого чтения в будущем.

1
  • 1
    Развёрнутый ответ с вариантами, спасибо большое.
    – user177227
    18 апр 2016 в 14:47

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.