1

Вот такой пример: когда пользователь авторизуется, идёт проверка на то, существует ли его кеш данных или нет, если нет, то идёт выборка из базы и запись в кеш. Далее все изменения происходят в кеше. Как сделать обновление из кеша в базу данных, ведь нужно как-то периодически сохранять новые значения, ибо кеш, как известно, не вечен?

Есть такой вариант: поставить демона (cron) на пробежку по всем пользователям и если он видит, что данные изменились, то обновляет учётную запись в базе данных. Проверку сделать, к примеру, раз в 2 или 1 минуту с учётом лимита.

Не знаю, пойдёт ли такой вариант или нет, является ли оптимальным или нет, возможно есть какие-нибудь идеи?

Добавление.

Вопрос более чем актуален. Одно из предложений: крон не надо, просто в кешевой таблице делается дополнительное поле - счетчик проверок и ставится, например, при каждом 1000 запросе скидывать данные в базу и счетчик после этого обнуляется. Это гораздо лучшее решение. Более гибкое, т.к. можно число 1000 менять по вкусу и не дает пиковой нагрузки, как при запуске через крон.

3 ответа 3

3

Мое предложение - это nosql в sql. Сделайте одну табличку с двумя полями и юзайте. Такая система также легко масштабируема. Хотя на практике именно такую схему я не реализовывал. Осуществлял проекты с одним redis, redis + oracle, redis + mysql. У redis есть возможность сохранять на диск, но он ограничен оперативной памятью.

Был проект: личный кабинет пользователя интернет услугами провайдера, так там в redis кроме справочников ничего не вошло.

Если у Вас вся бизнес логика помещается в 8 гб оперативной памяти сервера, ну или в 2х8 гб двух серверов, то можно только redis, но опять же 16 гб не нагрузят излишне mysql при правильном проектировании.

Многие наивно полагают, что добавив кеш и запихнув туда все, они решат все свои проблемы. Не хочу никого оскорблять, но если на тестах уже не завалится, то потом будет неисправимая ситуация (предусмотрите отключение и работу без кеша, на всякий пожарный).

А при схеме с базой и кешем я посоветую следующее (из имеющегося опыта, около 4 проектов, 4 делаю сейчас, пожтому около):

  1. Разработайте даталогическую модель для всей бизнес логики. Старайтесь разрабатывать так, чтобы в будущем не было перемешивающихся операций insert,update и select. Поясню: если происходит только insert, то избавляйте таблицу от индексов. Старайтесь не использовать update или лучше делайте по принципу обвновить одно поле (foreign key), а в другой таблице создать новое поле. К примеру: одни ребята создали проект, который падал постоянно из-за больших нагрузок (у них 4х звенная архитектура с апп сервером на делфи, падал на уровне 4 звена - б.д. не справлялась с наплывом огромных транзакций с update). Решили тоже все кешировать, но толку мало вышло. Сослались на неумение проектировать в nosql. А все тормоза были на update в обыной базе, а nosql не справлялся с объемом (прошу правильно понять под объемом оперативную память). Помогал им перепроэктировать подход к хранению данных, реляционность у них на 5 из 5 была: посоветовал им избавиться от update и заменить все на insert. Пока работает и без redis, хотя он тоже есть но для промежуточного мусора (справочники и настройки).
  2. Станет теперь более ясная картина, сколько данных гоняется, что несложно даже в байтах просчитать, помноженное на активность и количество пользователей. Вот тут и видно сразу, что ложить в кеш и когда он переполнится и все рухнет. Может туда только неизменяемые справочники загонять можно будет, а вот все ассоциации не влезут. Видел ребят, которые пихают все из базы в redis, моя теория сработала, у них все летало, до поры, а потом рухнуло. К тому же лучше оптимизировать некоторые моменты в базе. А пришли эти ребята к такому решению на основании успешного опыта с предыдущим проектом, вот только глазами не туда смотрели, они не данные из базы туда кешировали а уже отдаваемый пользователю контент (html страницы).
  3. Один только redis или memcash не использовать. Ну или же на крайняк используйте за ними базу с таблицами без индексов, insert будет летать. А стартоваться будет долговато, но смотря что приоритетнее.

P.S.: Опыт есть, но в моих ответах не хватает терминологии и связанности предложений из-за того что мысли обгоняют печатаемый текст, так что сори за орфографию.

1

Классикой жанра является memcached. Используйте его. Что же до периодического сохранения, то таким способом вы снижаете надёжность: если что-то в системе случиться... кэш ваш упадёт, пропадёт связь с базой или ещё чего и все данные пропадут, хотя пользователя вы уже уверили, что всё сделано. Так что это может быть не самой лучшей идеей, если данные эти имеют хоть какое-то значение для пользователей.

2
  • Тоже остановили свой выбор на memcached. Но программист знает его поверхностно, не подскажете, где можно найти специалистов, которые помогут разобраться с memcached? Или специализированный форум, с адекватными людьми. Каждый раз вопрос тут писать не удобно, хочется создать отдельную тему и там вести дискуссию, что и как лучше сделать. Сам я геймдизайнер, наш проект fgods.ru, его и хотим переписать на memcached. Заранее спасибо. 28 фев 2011 в 7:31
  • Не уверен, что такая схема вообще подходит для написания игрового сервера. Думаю, будет тормозить под нагрузкой, точнее, время отклика будет неудовлетворительным.
    – cy6erGn0m
    28 фев 2011 в 8:13
1

Вашу задачу очень изящно решает Redis.

Вариант с демоном - костыль. Который будет сильно грузить систему, как только количество пользователей превысит определенный предел.

А вообще изменения должны проводиться не в кеше, а в базе данных и, возможно, в кеше, а чтобы кеш выполнял свою функцию, нужно реализовать парадигму безгоночного кеширования: когда установкой и обновлением кеша занимается один процесс (такие решения есть в готовом виде на github.com).

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.