7

high system load
(источник: joxi.ru)
high cpu utilization
(источник: joxi.ru)

Иногда имеем высокую загрузку процессора некими системными задачами.
Не процессами из userland, а именно "система" грузит.
Т.е. явно выполняются какие-то системные вызовы (выделение памяти, переключения контекста), или работают драйверы (обрабатывают прерывания или что-то еще), идёт активный ввод-вывод.

Это всё я всегда предполагаю, Но как узнать ТОЧНО, почему высокая загрузка - не представляю. Поэтому прошу помощи.

Сейчас я использую несколько косвенных методов, но они не всегда подходят: глянуть в iotop, прибвать процессы по одному, и смотреть не спала ли нагрузка.

Но иногда просто нельзя останавливать сервисы. А иногда и процессов работающих уже почти не осталось, а нагрузка всё равно есть.

Вот хочется найти какое-нибудь средство быстро и точно узнавать что же грузит процессор.

8
  • что значит "система" грузит? примеры ваших процессов приведите? что для вас "быстро"? если процесс выдает 100% нагрузку в течении 0.5 секунд, с частотой 3 секунды? если раз в минуту грузит 100% на 10 секунд? "быстро" зависит от периода, который конкретно для вас слишком долгий 7 июл 2016 в 20:54
  • vmstat что показывает?
    – avp
    7 июл 2016 в 21:11
  • Сорри, ещё не знаю тут как ответить конкретно человеку. Поэтому отпишу сразу всем: 1) Система - это поле sy в top. Или "красненькая" часть столбца в htop. Короче всё, что не user-space и не i/o. 2) Я рассматриваю сейчас случаи, когда 100% загрузка проца/ядра, и либо все эти 100% значатся как sys.load, либо часть как user, а часть как sys. 3) В основном меня начинает этот вопрос волновать когда эта нагрузка постоянна в течение как минимум часа и никуда не девается, и никак не коррелирует со входящим траффиком. Ну либо девается, когда убиваешь всё-всё-всё, гасишь обмен траффиком с сеткой.
    – point212
    8 июл 2016 в 5:45
  • Результат vmstat уже показыватьно нет смысла. В этот раз причиной был DDOS с флудом TCP-пакетами на 80-й порт. И сетевушка просто захлёбывалась. Ядро даже не успевало забирать из её буфера пакеты. Но это я точно выяснил лишь когда хостер прикрыл траффик из инета кроме как от меня. Но не всегда есть такая возможность. Да и опять же... всё это косвенные способы. Я их знаю и умею. Но я хочу найти некую системную утилиту, которая показывает что там происходит под капотом у ядра. Чем оно грузит проц. Какой драйвер, прерывание от какого устройства, какой системный вызов...
    – point212
    8 июл 2016 в 5:47
  • 1
    Ответить конкретно -- @имя (в одном комментарии допускается только одно). Смотреть статистику прерываний -- /proc/interrupt (вообще, man 5 proc -- полезное чтиво). А тут нагуглил кучу разных мониторов.
    – avp
    8 июл 2016 в 23:06

2 ответа 2

3

Вам

  • надо сходить сюда, можете найти русский перевод или похожие статьи. Поможет вам ограничить выборочно потребление CPU процессами

  • почитать про strace и подобные ему sudo strace -t -e trace=open,connect,accept unity сможете увидеть много интересного

  • для ядра - ftrace или поищите еще kernel tracer-ов

утилиты, которая дает понять это с одного взгляда я не знаю, если вы не нагуглите, я бы пошел следующим способом: настроить мониторинг процессов так, чтобы в случае возникновения нагрузки на K% на N секунд каким-либо процессом, он давал алерт.

Можно наскриптовать так, чтобы при возникновении алерта, мониторинг натравливал trace на этот процесс, на секунду, допустим, и сохранял бы список самых часто выполняемых / долгих функций.

Но тут нужно быть осторожным, чтобы не повалить систему и не заполнить hdd. Т.е. скриптинг должен учитывать, что необязательно ставить trace на процесс, который уже был под трейсом (т.е. для которого уже сохранен tracefile), иначе процессы начнут тормозить еще больше, к примеру. Нельзя трейсить слишком долго - гигабайтные дампы вам не нужны.

Если вы решаете конкретную задачу борьбы с DDoS - ну, или очень много денег и очень много дц (повезло, если у вас есть), или cloudflare - я бы так пошел для начала.

Т.е. тут все от задач зависит, дебажить драйвер ядра - один подход, защищаться от ddos - другой.

3
  • почитать про strace - Это очень правильный совет. Но он предполагает, что "тормоза" вызываются всё-таки прикладным ПО, которое обращается к ядру. Возможна ситуация. когда прикладной уровень здесь совсем непричём. Поэтому я бы рекомендовал два действия: 1) Посмотреть syslog на предмет наличия записей о каких-то непонятных ошибках; 2) Посмотреть загрузку ЦП в тот момент, когда из ваших "сервисов" не запущено вообще ничего.
    – Sergey
    8 июл 2016 в 3:22
  • Спасибо за совет. Но я так понимаю strace никак в ядро влезть не может. Так что не мой вариант. Но вообще почитаю про него внимательно. 2Sergey: Если есть что-то в логах, то всё понятно. Но обычно ничего там нет. :) А насчет загрузки ЦП в момент когда ничего не запущено: иногда она действительно падает. Но я ж говорю. Не всегда есть возможность погасить все сервисы даже на пару минут. Но вот возвращаешь некую прогу - и опять все возвращается. И всё так же не понятно почему именно эта прога вызывает такой эффект.
    – point212
    8 июл 2016 в 5:54
  • Смотрите скриншоты в начале моего вопроса. ЭТо два примера. Я знаю ответы на вопросы почему в этих двух случях была большая загрузка. Но это я выяснил в итоге, после долгих мытарств. А вопрос основной - найти утилиту которая дает понять это с одного взгляда. ЗЫ 1-я картинка - загрузка 1го ядра системой в следствие обработки прерываний от сетевушки, залитой TCP-флудом от ДДОСа. 2-я картинка - взбесившийся mysql. Какая-то ошибка в коде видимо. Начиная с опр. объема базы, запросов и еще чего-то начала жрать sys. Обновился на другую версию - стало нормально.
    – point212
    8 июл 2016 в 5:55
1

Красная полоска говорит о io-wait или о прерываниях. Это работа драйверов и ядра.

Откройте обычный top. Там будет строчка:

%Cpu(s): 15,3 us,  1,4 sy,  0,0 ni, 78,8 id,  3,4 wa,  0,8 hi,  0,3 si,  0,0 st

Если большое число перед wa - устройство ввода вывода работает медленней чем планировщик. Чаще всего это запись на мертвый жесткий диск, но также может проявляться при работе видеокарты (майнинг на gpu). Запись на сетевой диск.

hi и si это прерывания. Часто встречал при сгоревшей сетевой карте.

Дальше смотрим процессы в топе. Там или в квадратных скобках указан драйвер или без них. Что-то вроде kworker/u8:7+events_unbound, loop8 и прочее. Название указывает на что это такое и номер экземпляра. Покопавшись в /proc/, /sys/ можно сопоставить процесс с устройством.

Стоит обратить внимания ещё и на обычные службы, которые могут хотеть от ядра слишком многого. Например, ускорение шифрования на урезанном процессоре. Но там обычно полоски наполовину зеленые, наполовину красные.

Ещё такие фокусы могут быть на виртуалках, когда другая виртуалка кушает ресурсы.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.