1

Есть подобные записи в логе статистики -

<- 21.03.2016 (15:10:30)|127.0.0.1|Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.110 Safari/537.36|domain.ru|referer ->

Разбираю записи в режиме реального времени без затаскиваний промежуточных результатов в базу(в будущем подумаю над этим).

Поясните: Как правильно разбирать по частям эти данные.Например,при разборе получить: сколько всего посетителей за сегодня\за неделю\вчера,сколько всего посетителей зашло на определенный домен(domain.ru) за сегодня\за неделю\вчера.

Кое-как решил проблему...Цепочка такая: разобрать на отдельные записи->узнать сколько всего за вчера и сегодня людей по дате(а как тогда выбрать за неделю?).Для выборки для доменов происходят похожие операции...но это криво как по мне

1 ответ 1

0

Лучше всего хранить такую информацию по суткам, просто завести ассоциативный массив и увеличивать ключи, для элемента с ключом, равным текущим суткам.

2016-03-21  100532
2016-03-20   93243
2016-03-22  103423
...

Если у вас не подсчитываются уникальные хосты/IP-адреса, а считается просто сумма посещений, то сумма за последние 7 дней даст количество посещений за неделю - суммируем последние 7 элементов. Если вы считаете хосты (уникальные IP-адреса), то такой подход будет неточен, так как один и тот IP-адрес может встречаться в нескольких днях. Придется заводить под недели отдельный ассоциативный массив.

Для хранения и обработки этой информации, вместо медленной базы данных, можно воспользоваться быстрым NoSQL решением, например, Redis. Особенностью большинства NoSQL баз является то, что данные хранятся в оперативной памяти - т.е. обсчет производится очень быстро даже перебором, так как если бы данные находились в памяти вашей программы. Плюс многие NoSQL базы обладают агрегационными возможностями. Например, при помощи множеств вы можете сразу отбирать только уникальные значения, складируя записи в массив с ключом равным временному интервалу, можно потом извлекать суммы по ним. Самое главное все в оперативной памяти и очень быстро.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.