4

Есть процесс, который по данным top потребляет 13,3% оперативной памяти. Однако по данным free используется памяти - 87,1%. Как понять куда ушла остальная память?

Ниже скриншот вывода top с сортировкой по RES, на котором видно, что процесс flussonic потребляет 13,3%, потребление памяти всеми остальными процессами - незначительное и не может влиять на значение Used, также я на всякий случай сделал в top сортировку по VIRT и обнаружил ещё один процесс, запрашивающий большие объёмы виртуальной памяти - Flussonic-thumb, но резидентная память у него всего 0,1%

Дополнение. Чтобы не возникал вопрос "как сопоставить отображаемую разными утилитами информацию про использование памяти", при дальнейшем исследовании проблемы я решил не использовать утилиты free, top и smem, а информацию получал из /proc, для процессов flussonic и flussonic-thumbnailer я получал данные об используемой резидентной и виртуальной памяти из /proc/"$PID"/status, данные получались каждые 5 минут и по ним строился график.

Сейчас, спустя месяц дополняю вопрос. По графику видно, что есть некая внутидневная динамика, используемая резидентная память процесса flussonic в зависимости от дневной нагрузки сервера колеблется от 3.5 до 5 Гбайт, но на более долгих временных прмежутках видно что ухода за эти пределы нет. А вот значение Used, которое вычислялось из данных в /proc за это же время увеличилось с 24 до 28 Гбайт, а если взять график за 3 месяца, то видно, что Used увеличилось с 12 до 28 Гбайт, память "течёт", причём графики процессов flussonic и flussonic-thumbnailer доказывают, что текут вовсе не самые нагруженные процессы, тогда что течёт, ядро? Как решить эту задачу?

top-RES

top-VIRT

flussonic-RES flussonic-VIRT flussonic-thumbnailer-RES flussonic-thumbnailer-VIRT memory-usage memory-usage-long

18
  • 1
    Потребление памяти — штука сложная, покажите конкретные показания всех программ
    – andreymal
    24 фев 2021 в 21:04
  • потому что часть памяти может быть зарезервирована под кэш. эта часть может быть освобождена если потребуется
    – alex
    24 фев 2021 в 21:56
  • Таким образом, вопрос про кэш перетек в вопрос "память в программе течет". Но это уже отдельный вопрос.
    – gbg
    26 фев 2021 в 7:53
  • Есть подозрение, что "течёт" не программа, а ядро. Про кэш было предположение с самого начала, но сброс кэша командой echo 3 > /proc/sys/vm/drop_caches не помогает, значит дело не в кэше Вопрос в том, что я не могу понять где именно самый большой расход памяти: в каком-то процессе, в ядре, если в ядре то где именно?
    – Iskatel
    26 фев 2021 в 8:23
  • 1
    Вы начали смешивать два разных вопроса в одном. Что расходует память вам показали утилиты, команды и примеры. Далее как работает каждая конкретная утилита и почему у вас там что-то не срастается - это отдельный вопрос. Для начала нужно разобраться, что такое VIRT и RES память... Ядро у них потекло... 26 фев 2021 в 8:25

3 ответа 3

2

Простой, но не точный вариант - ставите htop и смотрите на соответствующие столбики введите сюда описание изображения

Зеленое - то что слопали программы.

Желтое - кэш файловой системы.

Синее - разного рода буферы ядра.

На долго работающей машине, как правило, кэш съедает всю свободную память, но это не страшно - если памяти не хватает, он просто сбрасывается на диск.

1
  • htop в отличие от top показывает не процессы, а потоки, если просуммировать все значения в столбце в htop - получится ерунда, именно поэтому я использую top. Ещё есть инструмент smem, который как раз умеет сумму столбцов выводить. Проблема в другом.
    – Iskatel
    26 фев 2021 в 7:34
2
$ free -h
              total        used        free      shared  buff/cache   available
Mem:          3,7Gi       2,0Gi       430Mi       180Mi       1,3Gi       1,2Gi
Swap:         3,9Gi       786Mi       3,1Gi

buff/cache отображается желтым в htop и может быть освобожден как только понадобится. Не паникуйте - это нормально

1
  • Я в курсе, что buffers и cache могут быть освобождены ядром как только появится некий процесс, который запросит больше памяти, поэтому то что занято под buffers и cache - это на самом деле не "занято", а "свободно". Проблема в другом, я дополнил свой вопрос, чтобы было понятнее.
    – Iskatel
    26 фев 2021 в 7:30
2
grep -HP "VmRSS:[ \t]+[1-9]" /proc/[0-9]*/status 2>/dev/null |\
sed -r 's/\/proc\/(.*)\/status:VmRSS:[ \t]+([^\t ]+)[ \t]+([a-zA-Z]+)/printf "%-10s | %-20s | %s\n" "PID: \1" "size: \2\3"  "command: `cat \/proc\/\1\/cmdline 2>\/dev\/null`"/g' |\
/bin/bash | sort -t':' -k '3,3' -nr | more

Достаточно "дурацкая" и длинная команда, которая выведет сортированную информацию по утилизации памяти. Некий аналог top или htop что делает ее написание не особо целесообразным.

По логике, для каждого процесса мы проверяем поле VMRSS, где указана физическая величина используемого ОЗУ пространства, без записи в виртуальное хранилище и далее форматируем, сортируем.

Вывод будет выглядеть следующим образом:

PID: 17642 | size: 78784kB        | command: fb_inet_server
PID: 10231 | size: 73256kB        | command: fb_inet_server
PID: 4311  | size: 69968kB        | command: fb_inet_server
PID: 22499 | size: 69940kB        | command: fb_inet_server
PID: 1843  | size: 43508kB        | command: //usr/local/tander/bin/_python2.5...
PID: 2363  | size: 33548kB        | command: /usr/local/tander/i586-pc-linux-gnu/usr/bin/uwsgi...
PID: 30211 | size: 29864kB        | command: fb_inet_server
PID: 5423  | size: 28456kB        | command: fb_inet_server
3
  • Ба, кто-то еще кроме меня Firebird юзает :)
    – gbg
    26 фев 2021 в 8:44
  • 1
    @gbg =) ага и версия 1.5 грустный гарольд
    – user341547
    26 фев 2021 в 9:09
  • 1
    Вы не поверите, аналогично.
    – gbg
    26 фев 2021 в 9:20

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.