1

Я новичок в программировании, поэтому прошу не сильно пинать за вопрос, спрашиваю стараясь

Вопрос следующий:

  1. Есть БД MySQL. Версия клиента базы данных: libmysql - 5.6.43

  2. Есть таблица событий notes_all. Результат запроса SHOW CREATE TABLE notes_all:

    CREATE TABLE `notes_all` (
    `id` char(26) NOT NULL,
    `type` text NOT NULL,
    `entity_id` int(11) NOT NULL,
    `entity_type` text NOT NULL,
    `created_by` int(11) NOT NULL,
    `created_at` int(11) NOT NULL,
    `value_after` json NOT NULL,
    `value_before` json NOT NULL,
    `account_id` int(11) NOT NULL,
    `_links` json NOT NULL,
    `_embedded` json NOT NULL,
    PRIMARY KEY (`id`),
    UNIQUE KEY `id_2` (`id`),
    KEY `id` (`id`),
    KEY `created_at` (`created_at`),
    KEY `created_by` (`created_by`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf
    

В конечном итоге я хочу получить метки времени (timestamp) событий, после которых в течении получаса не было никаких событий.

Т.е. в конечном итоге нужно:

created_by | created_at | count_events

где count_events - количество иных событий в течении получаса после этого события.

Идеально, конечно, если будут выбраны только события, в которых count_events равен 0.

Составляю запрос (тут $dateStart - timestamp начала месяца, $dateEnd - timestamp конца месяца):

SELECT `created_by`,`created_at`, (
    SELECT
        COUNT(*)
    FROM
        `notes_all` as n
    WHERE
        n.created_at > notes_all.created_at AND n.created_at < (notes_all.created_at + 30 * 60) AND n.`created_by` = notes_all.created_by
    GROUP BY n.`created_by`
  ) as count_events
FROM
  `notes_all`
WHERE 
  `notes_all`.`created_at` >= ".$dateStart." and 
  `notes_all`.`created_at` <= ".$dateEnd

Получаю:
Результат запроса выше

Получаю полный список всех событий, где в столбце count_events, указано количество событий в течении получаса, следующего за указанным событием. Т.е. получаю почти то, что нужно (за исключением фильтрации только по нулевым событиям в столбце count_events)

Этот запрос всё правильно считает, но он безумно медленный. 25 строк считает в среднем за 4 секунды. Можно ли как-то получить тот же результат, кратно ускорив выполнение запроса?

15
  • Есть таблица событий notes_all со структурой Замените словесное описание на полный результат выполнения SHOW CREATE TABLE notes_all;. Есть БД MySQL Покажите результат выполнения SELECT VERSION();.
    – Akina
    25 янв 2021 в 20:19
  • @Akina Спасибо! Добавил в описание результат выполнения SHOW CREATE TABLE notes_all; 25 янв 2021 в 20:36
  • @Mike, Спасибо за Ваш ответ! Сейчас пробую сделать объединение через join. 25 янв 2021 в 20:39
  • @Mike выполнил Ваши рекомендации. Делаю вот такой запрос SELECT id,created_by, created_at, count(id) FROM notes_all GROUP BY created_by, created_at Получаю вот такой ответ prntscr.com/xmdb3d. Получаю группировку по created_by и created_at, но это не то что нужно, т.к. в столбце count нужно видеть количество событий за полчаса а не в эту же секунду. 25 янв 2021 в 21:25
  • А версия MySQL - военная тайна? Между прочим, для описываемой задачи эта информация критична.
    – Akina
    26 янв 2021 в 4:28

2 ответа 2

1
SELECT IF(@prev_by=created_by, @prev_at-created_at, NULL) diff,
       @prev_by:=created_by AS created_by, @prev_at:=created_at
  FROM (SELECT @prev_by:=NULL, @prev_at:=NULL) x, notes_all
 WHERE notes_all.created_at >= $dateStart AND notes_all.created_at <= $dateEnd
 ORDER BY created_by, created_at DESC

Запрос считает разницу во времени между идущими друг за другом событиями по одному пользователю. Если в обрабатывамом окне нет более позних событий дает NULL. Основан на запоминании пользователя и времени события в пременных и использовании их при обработке следующей строки. Поэтому для запроса важна сортировка (по пользователю и дате в обратном порядке).

При необходимости можно обернуть его в внешний запрос и проверить diff на нужную разность select * from (запрос указанный выше) x where diff < 30 * 60

1
  • Да, это то что нужно. Мой запрос теперь выглядит вот так и выполняется супербыстро SELECT created_by, created_at, diff FROM( SELECT IF(@prev_by=created_by, @prev_at-created_at, NULL) diff, @prev_by:=created_by AS created_by, @prev_at:=created_at as created_at FROM (SELECT @prev_by:=NULL, @prev_at:=NULL) x, notes_all WHERE notes_all.created_at >= 1609794000 AND notes_all.created_at <= 1611608399 AND notes_all.created_by != 0 ORDER BY created_by, created_at DESC) pod where diff > 30*60 26 янв 2021 в 8:16
0

Попробуйте:

  1. События, после которых в течении получаса не было никаких событий
SELECT t1.*
FROM notes_all t1
WHERE NOT EXISTS ( SELECT NULL
                   FROM notes_all t2
                   WHERE t2.created_at BETWEEN  t1.created_at AND t1.created_at + INTERVAL 30 MINUTE )
-- WHERE t1.created_at BETWEEN @start AND @end
  1. Количество событий в течение 30 минут после события
SELECT t1.*, COUNT(*)
FROM notes_all t1
LEFT JOIN notes_all t2 
    ON t2.created_at BETWEEN  t1.created_at AND t1.created_at + INTERVAL 30 MINUTE
-- WHERE t1.created_at BETWEEN @start AND @end
GROUP BY t1.id
2
  • @Akita, подскажите, должен ли я как-то править информацию в Ваших запросах. Я попробовал Ваш 1 запрос - он напрочь вешает БД. Вероятно, я что-то делаю не так. 26 янв 2021 в 7:23
  • @Ярослав Понимаете, все запросы (и мои в том числе) однозначно фуллскан. Никакие индексы там не используются - потому что селективность запроса просто никакая. Если бы поставленная задача была основной и практически единственной на этой таблице, я бы вообще предложил изменить структуру таблицы, добавить в неё generated spatial column и соответствующий индекс.
    – Akina
    26 янв 2021 в 7:38

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.