0

У нас есть кластер/кольцо Cassandra, состоящее из 6 улов(rhel 7.8). На двух узлах нашей СУБД возникают dropped read message и dropped mutation message

Проверку выполняем с помощью tpstats.

Пробовали сменять механизм GC на g1 с mark sweep compact Увеличивали таймауты

Кто сталкивался с подобной проблемой и как ее вылечить?

1 ответ 1

0

Обычно такое происходит в нескольких случаях, но тут надо смотреть более детально с логами и т.п.:

  • Модель данных не очень правильная - соответственно имеется перекос, и некоторые ноды получают гораздо больше трафика чем другие
  • Выполняются запросы с QUORUM/LOCAL_QUORUM, что приводит к ожиданию ответа от других нод
  • для drop mutations - может быть блокировка на flush, из-за того что слишком мало flush writers
  • на чтение может влиять даже read ahead size в Линуксе

я бы посоветовал сделать следующее:

  • настроить постоянный мониторинг, чтобы видеть изменение поведения во времени (рекомендуемые метрики можно найти вот тут) - например можно взять вот эту тулзу
  • пройтись по вот этой документации - проверить системные настройки, модель данных и т.п. Эта документация, выжимка из кучи отчетов которые были написаны архитекторами из DataStax для клиентов
  • собрать диагностику со всех нод кластера, и проанализировать логи и т.п., например, с помощью sperf (разработан поддержкой DataStax)
2
  • Спасибо! У нас начали расти drop message даже на кластере без нагрузки... Вы сталкивались с таким? Как быть? 16 мар 2021 в 1:11
  • тяжело сказать - надо смотреть на логи, метрики и т.п. Может быть система в свопе, может быть постоянно проигрываются хинты и т.д.
    – Alex Ott
    16 мар 2021 в 7:38

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.