5

Уважаемые коллеги, я столкнулся с такой странностью. В виртуальной машине 2Gb ram, 25Gb диск, 1 ядро запущена Ubuntu 16.04 и установлен GitLab.

Чтобы исключить потерю данных за большое время, я ночью выключаю виртуалку и архивирую образ диска целиком.

И я вижу, что архивы какие то большие получаются. (больше, чем показывает команда df как использованный объем диска) "Ага!" - подумал я. Значит, на диске есть какие то данные, которые лежат на неиспользованной области, дай ка я заполню ее нулями.

Решаю создать один большой заполненный нулями файл при помощи команды

sudo dd if=/dev/zero of=file0 bs=1G count=18

Объем файла совершенно точно меньше свободного места на диске.

Но сколько я ни пробовал - команда ни разу команда не доработала до конца, где то в процессе появляется надпись "Killed", и ее выполнение прекращается.

Смотрите скриншот. СКриншот того, как система убивает процесс

Я подозреваю, что где то в убунте есть монитор, который отстреливает процессы, которые жрут слишком много ресурсов (думаю, в моём случае - памяти он много жрет).

Но где про это прочитать?

Особенно - про настройку системы, чтобы она была более терпимой к превышению памяти и просто позволяла процессу уйти в своп. Это актуально и для других процессов, не только dd

Спасибо.

7
  • 2
    Уменьшите bs, соответственно увеличьте count. bs же занимает 1 ГБ оперативки и такой большой точно не нужен
    – Mike
    16 июн 2017 в 10:06
  • Спасибо за совет! Это я уже сделал. Но я вспомнил, что время от времени, когда на сервере поднято много вритуальных машин, некотрые из них "умирают" по необъяснимой причине, и, видимо причина опять таки - в превышении размера оперативнйо памяти на сервере.
    – S.H.
    16 июн 2017 в 10:18
  • 1
    Логи системы посмотрите, там иногда бывает много интересного ...
    – Mike
    16 июн 2017 в 10:47
  • Чтобы исключить потерю данных за большое время, я ночью выключаю виртуалку и архивирую образ диска целиком. Верное решение. Но может оказаться, что проще снимать lvm snapshot. Он даже не требует останова ВМ. Хотя все зависит от средства виртуализации.... Но в том же hyper-v я умудрялся надёжно бекапить linux'ы без останова и потери данных
    – gecube
    16 июн 2017 в 19:46
  • Это смешное решение, но учитывая, насколько сборную солянку представляет из себя гитлаб, и насколько точно должен быть соблюден при восстановлении рецепт этой солянки в смысле версий компонентов - наверное, наиболее надёжное. Средство виртуализации- kvm, а вот насчет lvm snapshot - вопрос: их можно "оторвать" от хоста и передать по сети, чтобы поднять на другом хосте виртуализации? (я просто со снапшотами VM не работал)
    – S.H.
    16 июн 2017 в 20:01

3 ответа 3

6

Возможно dd попало под OOMkiller. http://shtsh.blogspot.com/2012/04/oom-killer.html

2

Господа, спасибо за советы. Вы мне очень помогли. Привожу результат для полноты картины.

В /var/log/syslog я нашел такую запись:

Jun 16 21:36:12 GitLab0 kernel: [70913.827774] dd invoked oom-killer: gfp_mask=0x24280ca, order=0, oom_score_adj=0

...

Jun 16 21:36:13 GitLab0 kernel: [70913.828116] Killed process 13674 (dd) total-vm:1055920kB, anon-rss:638888kB, file-rss:1280kB

После отключения oom-killer путём записи строки vm.overcommit_memory=2

в конец файла /etc/sysctl.conf oom-killer приходить перестал.

Но... GitLab тоже перестал работать: web-морда показывала ошибку 502, а команда top показывала пару команд bundle, запущенных от пользователя git.

Как я прочитал, причиной такого поведения системы может быть то, что при отключенном oom новые процессы не могут запуститься, потому что ядро не даёт им памяти (наверное, это звучит безграмотно, но здесь написано лучше: https://superuser.com/questions/1150215/disabling-oom-killer-on-ubuntu-14-04/1150229)

Еще полезное описание на русском языке: здесь (только нужно пропустить абсолютно бессмысленное начало и читать тот кусок текста, который на сером фоне)

3
  • Действительно дело в ООМкиллер. Хочу сказать, что для Гитлаб 2гб это реально минимум. Система тяжёлая, но очень функциональная. Есть gitolite и gogs, полегче, но и функций в них меньше. На проде ООМкиллер я бы не выключал
    – gecube
    16 июн 2017 в 19:45
  • Да, гитлаб очень хорош. И знаю про его любовь к памяти, но мне даже попадались форумы, где люди мерялись, кто запустит гитлаб на меньшем объеме памяти. рекорд там был 256 метров, но рекордсмен жёстко отключал кеширование и подкручивал параметры "рельсов"
    – S.H.
    16 июн 2017 в 20:11
  • С dd не пробовал, но вспоминая различные собственные "эксперименты" с копированием могу сказать, что увеличение размера буфера за мегабайт практически уже не влияет на время.
    – avp
    17 июн 2017 в 17:14
1

Следует испльзовать меньший размер блока. OOM убивает dd из-за недостатка памяти. Для файла в 18ГБ вот такая команда более правильная.

sudo dd if=/dev/zero of=file0 bs=64М count=288

Размер блока лучше выбать сопоставимы с размером кеша диска, на который ведется запись. На старых дисках лучшая производительность достикалась при блоке 20М. На raid аппаратном имеет смысл использовать блок с размер кеша раид, но нужно учитывать ограниченное количество оперативной памяти.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.