0

Здравствуйте. Можете, пожалуйста, обьяснить как писать такой SQL запрос, который найдёт все сессии, в течение которых пользователь совершил следующие действия, возможно не подряд, но в указанном порядке:

  1. пользователь зашел на rooms.homework-showcase;
  2. пользователь зашел на rooms.view.step.content;
  3. пользователь зашел на rooms.lesson.rev.step.content.

Сессией называется активность пользователя, в которой между последовательными действиями проходит менее одного часа. Сессия начинается в момент первого из этих действий и заканчивается через час после последнего из них.
Результатом должна стать выгрузка сессий вида: user_id,<дата-время начала сессии>,<дата-время окончания сессии>.

Есть данные следующего вида:

user_id – happened_at – page,
где happened_at - дата действия, а page - тип действия (нужны только rooms.homework-showcase и остальные).

Мой запрос сейчас:

SELECT *,
(case page when 'rooms.homework-showcase' then 1 when 'rooms.view.step.content' then 2 when 'rooms.lesson.rev.step.content' then 3 else 4 end) activity_number,
extract('epoch' from happened_at) - extract('epoch' from lag(happened_at) OVER (PARTITION BY user_id ORDER BY happened_at)) time_lag
FROM test.vimbox_pages
WHERE (page IN ('rooms.homework-showcase',
                  'rooms.view.step.content',
                  'rooms.lesson.rev.step.content'))
ORDER BY happened_at

В нем я выделяю только нужные действия и с помощью window функции lag нахожу разницу между следующим и предыдущим временем

Сейчас я использую Python чтобы дообработать данные, получаемые с текущего запроса. код на python Искал много в интернете, но там только для случая где одна запись – один день (час) рассматривается и дальше с помощью window functions или self-join’ов решается Но такой подход не сработает, потому что могут быть записи в 1-ую и 119-ую минуту. Разница по часам не превосходит 1, но такой вариант конечно же не подходит, потому что по минутам разница больше 60

Если не затруднит, скиньте сразу сниппет или расскажите где читать).
P.S. Использую Redshift SQL, что почти тоже самое, что и PostgreSQL

17
  • Основная идея в том, что бы в одну запись вытащить текущую запись и дату из предыдущей. А вот как именно это сделать сказать невозможно до тех пор пока вы не скажете какая именно СУБД у вас используется. Подходы к реализации кардинально отличаются у какого нибудь MySQL где используются переменные и большинства других баз, где используются функции на подобии lag() или если никаких средств нет, то используются подзапросы на выборку ближайшей даты
    – Mike
    29 окт 2017 в 9:08
  • Если хотите получить адекватный ответ - укажите базу данных, приведите входные данные не в виде картинки, а в виде текста, что бы из него можно было быстро создать тестовую таблицу. И к ней что именно должно получится на выходе из этих данных, из текущего вопроса не ясно что вы хотите сделать с этими самыми группами
    – Mike
    29 окт 2017 в 9:11
  • @Mike дополнил вопрос исходными данными и желаемым результатом. Использую Redshift SQL, что почти одно и то же с PostgreSQL 29 окт 2017 в 9:36
  • данные вы скорее убрали :) но кажется я начал понимать ... но не до конца. перечислите все признаки окончания сессии: первое понятно - прошло более часа. а вот что с номерами событий (1,2,3) я как то не понял, в сессии должны быть они все, или они должны быть строго подряд по времени (т.е. если они идут во времени 2,1,3 - то сессией не считать) и что если что то будет пропущено, т.е. произошли только 1 и 3 события
    – Mike
    29 окт 2017 в 10:10
  • @Mike с действиями можно уже позже разобраться, но вообще если есть монотонная подпоследовательность типа 1 1 2 2 3 3 3, то сессия подходит, а если например все активности 2 1 1 2 3 1 немонотонны, то и сессия не проходит 29 окт 2017 в 10:14

1 ответ 1

1
select user_id, min(min_dt) min_dt, max(max_dt) max_dt, grp
  from (
    select user_id, grp, act_grp, min(happened_at) min_dt, max(happened_at) max_dt,
           count(distinct activity_number) act_cnt
      from (
        select *,
               sum(grp_start) over(partition by user_id order by happened_at) grp,
               sum(act_start) over(partition by user_id order by happened_at) act_grp
           from (
            select *,
                   case when 
                     coalesce(extract('epoch' from happened_at-lag(happened_at) over(partition by user_id order by happened_at)),0) < 3600
                   then 0 else 1 end grp_start,
                   case when lag(activity_number) over(partition by user_id order by happened_at) > activity_number then 1 else 0 end act_start
              from pages
           ) X
      ) Y
     group by user_id, grp, act_grp
  ) Z 
  group by user_id, grp
  having max(act_cnt)=3

Пример на sqlfiddle.com (В отсутствии тестовых данных пришлось их создавать из другой таблицы, ввиду чего нашелся только один подходящий интервал и тот при условии 10 часовых сессий).

Внутренний запрос (X) помимо колонок исходной таблицы создает признаки начала новых сессий (grp_start) на строках с сильно отличающийся датой. И признак начала новой группы возрастания номеров событий (act_start). Вам надо либо вместо pages в запрос в виде подзапроса заложить свой select получающий номера событий из их названий, либо вместо activity_number расписать свой case в нескольких точках). На следующем уровне (Y) создается нумерация групп-сессий и групп возрастания событий. Уровнем выше (Z) мы группируем записи до групп возрастания событий и получаем количество уникальных событий внутри группы. И наконец на внешнем уровне мы собираем интервалы с точностью до сессий и отбираем только такие сессии в которых были группы возрастания событий, содержащие все 3 вида событий.

5
  • Спасибо! Это сработало, правда в Redshift SQL агрегации, когда они используются в кач-ве window функций, нужно было дополнить до sum(grp_start) over(partition by user_id order by happened_at rows between 1 following and 1 following) grp 30 окт 2017 в 0:58
  • @ЖораГригорьев А вот это странно, данное ограничение rows должно давать только 1 следующую запись. это как то никак не вяжется с нумерацией групп от начала выборки. если уж эта фраза нужна, то она должна быть rows between unbounded preceding and current row
    – Mike
    30 окт 2017 в 6:32
  • Задачка кстати неправильно решена, не тот набор результирующих значений должен получиться....
    – Mishustiq
    8 ноя 2018 в 7:39
  • @mishustiq а как тогда правильно?
    – Асель
    5 июл 2019 в 21:51
  • @Mike можно Вам вопрос задать, по поводу подключения к БД Redshift, Вы как раз запрос выше по этому заданию писали. 19 мар 2020 в 7:25

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.