На протяжении всего времени пользования linux дистрибутивами замечал, что если в какой-то программе произойдет утечка памяти или я случайно оставлю например htop с открытым strace на день, то система намертво зависнет при исчерпании памяти и нельзя будет переключится на консоль или например включить/выключить "Caps Lock"(индикатор на клавиатуре просто не будет менять свое состояние).
Зависание происходит постепенно во время процесса исчерпания памяти, сначала поднимается iowait и становится заметно, что система немного тормозит, потом при продолжающемся исчерпании памяти iowait стремится к 100% и система начинает зависать сильнее, а потом вообще намертво и практически безвозвратно, в процессе исчерпания памяти и поднятия iowait параллельно начинает все дольше и дольше быть в активном состоянии индикатор работы накопителя, вплоть до постоянной активности, без смены состояния.
"Отвиснуть" можно только освободив как-то память, при полном зависании системы у меня это вышло только нажатием "System Request" последовательности клавиш(их надо включить в sysctl) - ALT-SysRQ-F, это вызывает OOM Killer, он освобождает память и система постепенно начинает переходить в нормальное состояние работы, сам OOM Killer без нажатия этой комбинации вызывается только при отключении memory overcommit через sysctl, а со включенным memory overcommit OOM Killer не срабатывает, сколько б я не ждал и как не пробовал настраивать параметры sysctl.
Все, кого б я не спросил по существу мне так и не смогли ответить, только предлагали увеличить кол. памяти, но с этим проблем у меня нет, ее мне достаточно и ситуации с зависанием у меня происходили только в нештатных ситуациях.
У меня есть теория, что ядро начинает циклически скидывать какие-то кеши на диск в поисках свободной памяти и из-за этого зависает, но это всего лишь теория, хотелось бы прочитать обьяснения от человека, который в этом разбирается.
P.S Это разумеется все происходит при отключенном swap
-
Меня тоже интересует этот вопрос. Если вы разобрались, то может бы написали ответ.– Сопрано23 фев 2019 в 22:14
-
А у меня програмка в segfault валится когда память кончается– eri14 мая 2019 в 23:21
1 ответ
Большой iowait скорее всего связан с тем, что системе приходится постоянно перечитывать страницы в памяти для поиска тех которые можно освободить. чем больше памяти приходится на активный процесс, тем больше времени CPU это занимает.
ООМ вызывается если текущее состояние системы отвечает на следующие вопросы:
- Осталось ли достаточно места подкачки (nr_swap_pages > 0)? Если да, то не ООМ
- Прошло ли больше 5 секунд с момента последнего сбоя? Если да, то не ООМ
- Неужели мы потерпели неудачу в последнюю секунду? Если нет, то не ООМ
- Если не было 10 сбоев, по крайней мере, за последние 5 секунд, мы не ООМ
- Процесс был убит в течение последних 5 секунд? Если да, то не ООМ
Т.е. получается для вызова OOM Killer необходимо чтобы в системе стало не хватать памяти свежим процессам (или тому кто её съел, запросить сразу столько сколько в системе нет - большим куском) Это надо, чтобы OOM Killer убил только что запущенный процесс с утечкой памяти и не тронул старые, добротные процессы, которые просто кушают много памяти.
Источники:
https://www.kernel.org/doc/gorman/html/understand/understand016.html http://catap.ru/blog/2009/05/03/about-memory-oom-killer/