1

Как в данном случае будет лучше реализовать это? Каждый раз делать запросы UPDATE ресурсами не наберешься.

Все зависит конечно от мощности сервака, но, например, предположим что каждый запрос вида:

UPDATE news SET count = count + 1 WHERE news_id = 9

занимает 0.002 секунды (записей в таблице ~ 9000). Сайт очень загружен. Ну скажем, таких запросов уходит по 50-70 штук каждую секунду. Следовательно (это конечно же неправильно, но если брать в расчет линейную зависимость), получаем 0,1 секунду только на обработку одного единственного запроса! А мне же нужно сгенерировать страницу (которая не всегда грузится из кэша)! На практике же получается еще больше. Вообщем такой подход здесь не годится.

Единственно, что остается - это писать в какой-то временный источник (будь то оперативная память, или жестяк), а в базу записывать, например, только через полчаса после последней записи.

Все вроде бы хорошо, если бы не ложечка дёгтя, как говорится... При всем при этом мне нужно сохранить возможность сортировки результатов выборки из базы (по количеству просмотров). Ведь данные за полчаса могут измениться, и измениться значительно поэтому "ORDER BY", конечно, можно делать но это будет не точно.

Все это мне нужно, чтобы, например, вывести самую популярную запись. Или Топ-15 самых популярных. Ну вообщем, хочу услышать мнения экспертов по данному вопросу. Заранее спасибо.

P.S. И еще один вопросик: стоит ли делать то же самое с кнопкой "мне нравится" (имею ввиду, не кнопку контакта, а кнопочку родную сайтовскую)? Тут как бы уже не так много запросов нужно будет делать, но делать то их ведь все равно придется. Так что, если совет какой дадите, буду благодарен.

UPD:

Вообщем, ребят... Всем спасибо за отзывы и ответы. Буду пытаться по-всякому. Как только что-нибудь станет ясно, обязательно обновлю вопрос. Я думаю не только мне это интересно.

8
  • Большие нагрузки - понятие растяжимое. В большинстве случаев, номально индексированная база и оптимально сосавленные запросы с нагрузками спокойно справляются. В остальных ситуациях используют различные ухищрения HEAP-таблицы, кластеры, memcache и т.п.
    – KiTE
    Commented 11 апр. 2012 в 9:47
  • server daemon, memcacheDB etc.
    – user3545
    Commented 11 апр. 2012 в 9:55
  • memcache то у меня и так стоит, просто при это я теряю возможность сортировать точно. Если только забить на этот маленький минус и записывать в базу например не каждые полчаса, а каждые десять минут, другое дело...
    – Dobby007
    Commented 11 апр. 2012 в 10:07
  • wiki, потом в великий и могучий гугл. PS: тыц сюда
    – user3545
    Commented 11 апр. 2012 в 17:31
  • 1
    Вы крайне ущербно описали суть проблемы, соответственно вам не могут ответить по определению. Привели бы хоть какие-то цифры, какие-то, на ваш взгляд, важные участки кода и т.д., тогда, возможно, вам бы и смогли помочь
    – user3545
    Commented 11 апр. 2012 в 17:55

5 ответов 5

3

Один из самых быстрых и простых в реализации способов:

  1. Добавляете количество посещений в memcache для каждой новости со значением 0 и ключем, например, raiting-news-$newsId
  2. При каждом просмотре новости в memcache для соответствующего ключа инкрементите значение на 1 (incr/decr command). Т.к. эта команда атомарная, то ни о какой синхронизации не надо беспокоится.
  3. Раз в 5/30/60 минут проходитесь по всем новостям, увеличиваете соответствующее значение в базе на значение из memcache, а в memcache сбрасываете значение на 0.
    1. Делаем выборку всех ID новостей одним запросом(т.к. это выборка по pk, то это очень быстро будет)
    2. Затем одним запросом(или пачками по 1000, к примеру) вытаскиваем через multiget все значения из memcache.
    3. Для каждого значения, которое больше некоей дельты делаем UPDATE в БД и сбрасываем в значение в memecache.
7
  • Спасибо огромное. Кстати, incr и descr это здорово. Вы как всегда мощные советы даете. У меня есть еще одна идея. Делать это не каждые 5 минут, а при накоплении счетчика memcache значения 10, например. Так не придется переворачивать всю базу каждые 5 минут. И к тому же топ-новость будет держаться какое-то время первой, прежде чем ее уже точно перебьют по просмотрам. В Вашем варианте это конечно тоже есть. Я вот щас и думаю как лучше сделать. Пока правда другими вещами занимаюсь, чтоб время сильно не тратить на это... Просто, если что, то чтоб я уже был прошарен в этом вопросе...
    – Dobby007
    Commented 19 апр. 2012 в 6:29
  • > Делать это не каждые 5 минут например, а при накоплении счетчика memcache значения 10, например. Так не придется переворачивать всю базу каждые 5 минут. Да это тоже хороший вариант. Правда про переворачивать базу речи не шло, я не достаточно точно описал. Обновил ответ. Собственно, разница в основном в том, что в моем случае будет ровное распределение нагрузки по времени, но некий фиксированный лаг обновления по времени. А в вашем случае будет нагрузка будет зависеть от топовых новостей, но будет более гибкий лаг обновления. Commented 19 апр. 2012 в 7:19
  • Но как я понимаю все равно придется делать много апдейтов за раз. В один то запрос все изменения нельзя как я понимаю на SQL сделать в этом случае. Придется через ";" передавать все апдейты сгенерированные скриптом.
    – Dobby007
    Commented 19 апр. 2012 в 11:15
  • Эта идея хороша ровно до тех пор, пока мемкэшу хватает памяти, а когда ее перестанет хватать у вас загадочно начнет пропадать статистика :)
    – razielsd
    Commented 19 апр. 2012 в 11:38
  • 1
    > Но как я понимаю все равно придется делать много апдейтов за раз. Да, от этого, в данном случае, уже не уйти. Но я не думаю, что из-за этого стоит беспокоится (не стоит забывать про prepared statments). В крайнем случае можно написать простенькую процедуру на PL/SQL. > Эта идея хороша ровно до тех пор, пока мемкэшу хватает памяти Там же всего 9000 короткоживущих int'ов, с очень высоким количеством хитов :) Какова вероятность, что memcache решит дропнуть именно их, а не какие-либо тяжелые, старые и редко используемые html? Commented 19 апр. 2012 в 12:30
1

Пишите статистику в демон, который будет делать промежуточную агрегацию и писать в базу. Попробуйте Python или Node.js для этой задачи, лично мне больше нравится Node.js.

1

Как на счет Google Analytics? А потом в этом блоке "Топ 15" делаем уже JS-запрос к их API (не уверен на 100%, что возможно будет извлечь популярные запросы... Но черт возьми, неужели Гугл об этом не подумал?). Если нужно иметь эту инфу локально, можно периодически вытягивать через это же API.

Бонусы: снижение загрузки на собственные сервера, возможность иметь связанную информацию

Минусы: неработаспособность без JS, (возможно) плата за использование API/некторых функций

2
  • Google Analytics это хорошо конечно. Но как по мне, не взлюбил я его. И не взлюбил из-за одной неприятной штуки... У меня интернет-провайдер и прочие локальные сайты любят ставить себе именно гугл аналитикс. А когда я гружу страницу без подключения к внешке, она загрузится может только через минуты две (я пользуюсь оперой), так как в этом НЕВЕРОЯТНОМ случае серваки гугла недоступны :))) Плюс ко всему, это всегда дополнительный запрос, который делать не хочется. А если брать серверную API, то это тот же самый вариант как с кэшированием выше. Теряю возможность правильной сортировки, батенька)
    – Dobby007
    Commented 11 апр. 2012 в 10:32
  • Так что скорее всего это не мой вариант. Но все равно спасибо. А никаких больше у вас идей нет?
    – Dobby007
    Commented 11 апр. 2012 в 10:43
1

Есть один хороший способ, я использовал его на одном очень сильно загруженном сайте. Создаете две таблицы: одна MEMORY другая обычная. В таблице мемори делаете триггер на добавление в обычную. Работает очень быстро. Да, правда, есть один подводный камень - это память. Но если грамотно написать триггер то все будет в шоколаде. Вам виднее.

5
  • Ого! Вот это уже полезная инфа! MEMORY она всегда в памяти будет храниться, так? А где можно почитать про тригеры? Так чтоб грамотно и с объяснениями было написано. А то в документации скулевской, обычно только факты...
    – Dobby007
    Commented 11 апр. 2012 в 17:58
  • Что-то я не понял если честно... Как может триггер работать быстрее если в этом случае выполнится тупо два запроса вместо одного? Т.е. вместо того чтобы сделать один UPDATE обычной таблицы news, произойдет обновление таблицы memory, а потом еще и таблицы news. Может конечно я туплю, но, как мне кажется, это будет работать намного дольше нежели сделать обычный update.
    – Dobby007
    Commented 12 апр. 2012 в 17:02
  • Сань, триггеры и хранимые процедуры хранятся в базе, а не вызывются извне. Львиную долю времени обработки запроса занимает синтаксический анализ вызываемого извне запроса. Триггеры и процедуры всегда быстрее "внешних" запросов. Разумеется если написаны они грамотно. И информации для просвещения. Почитай про hadoop. Вот линк для затравки insight-it.ru/masshtabiruemost/hadoop Commented 18 апр. 2012 в 17:54
  • @Виталий Кустов, ну а как грамотно написать триггер в этом случае? Кстати, насчет процедур... Процедуры быстрее только в случае записи или изменения данных, при выборке данных они не кэшируется в отличии от Select запросов. habrahabr.ru/post/41166
    – Dobby007
    Commented 19 апр. 2012 в 6:12
  • Мы же кстати с тобой проверяли. Не такое и сильное отличие было процедур с обычными запросами. У меня основное время занимает сама запись данных в БД. Тем более запрос совсем не сложный. Сам же говорил, у тебя запросы были на три страницы. А здесь тьфу)) Одна горе-строчка)))
    – Dobby007
    Commented 19 апр. 2012 в 11:19
1

Замените количество посещений математическим ожиданием количества посещений, а реальное количество замеряйте раз в неделю, чтобы на его основании корректировать мат.ожидание. Тогда никаких нагрузок вообще не будет.

2
  • Математическое ожидание... Это не для меня) Может и можно это сделать так... Но я не смогу... Это надо с математиками консультироваться...
    – Dobby007
    Commented 19 апр. 2012 в 11:30
  • Насколько мне известно таким образом был сделан счетчик людей зарегестрированных вконтакте, когда его еще отображали на главной странице. Он не показывал сколько людей реально зарегестрировалась в такой-то день а показывал сколько людей примерно должно зарегестрироваться по подсчетам администрации.
    – igumnov
    Commented 19 апр. 2012 в 11:36

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.