6

Столкнулся со странным поведением при форке через pcntl_fork

Возьмем простой скрипт вечно живущего демона

pcntl_fork();
while (true) {
    sleep(1);
}

И сравним потребление памяти у родителя и ребенка memory-usage

Видно, что дочерний процесс занимет примерно на треть меньше операвтивной памяти. Если копнуть немного глубже и сравнить вывод pmap -x 1172 1173 для обоих процессов увидим, такую картину memory-allocated-diff

Если я правильно понимаю, то при старте php аллоцирует памяти с запасом на себя, а так же на все свои модули и этот запас довольно ощутимый, особенно если у вас на одном инстансе запускается множество демонов.

Получается таким хитрым способом можно урезать потребление памяти вашим демоном

if (pcntl_fork() > 0) {
    die();
}
while (true) {
    sleep(1);
}

В чем подвох, только в том, что придется тратить время на аллокацию памяти при необходимости?

11
  • 2
    При форке процесса используется copy-on-write страниц памяти между родителем и ребенком. Возможно сейчас ситуация улучшилась. Но когда я разбирался с вопросом, ни одна утилита не могла внятно показать сколько реальной физической памяти кем использовано. Были какие-то наброски уровня ядра, но на amd64 они уже не работали. 7 авг 2020 в 22:30
  • При тестировании я смог запустить тысячу форков демона в докер контейнере, в таких же условиях я не смог сделать даже 600 запусков в обычном режиме и влез в swap. Думаю памяти используется все же меньше.
    – flax
    7 авг 2020 в 22:56
  • Т. е. в обычном, это 600 раз php ..., a с форком один раз php ... и внутри 1000 раз форк? 7 авг 2020 в 23:30
  • Или обычный это 1-й листинг, а в оптимальном 2-й? 7 авг 2020 в 23:52
  • Да, 600 раз ‘php test.php’. Во втором это цикл с форком одного и того же процесса. В принципе зависимость видно, и при меньших объёмах, просто хотелось выжать максимум.
    – flax
    8 авг 2020 в 21:38

1 ответ 1

6
+250

(обобщая комментарии выше)

При форке процесса используется copy-on-write страниц памяти между родителем и ребенком. Если php инициализируется 1 раз, а потом форкается, все форки разделяют (совместно используют) с родителем эту память. На этом можно экономить память и время на инициализацию (если она тюжелая).

Но тут надо учесть, что как только процесс-ребенок начнет активно работать с памятью, страницы памяти снова будут становиться раздельными. В какой мере память станет раздельной -- предсказать невозможно, только написать реальный код, запустить и сравнить.

/* О средсвах, позволяющих подробно узнать, какие страницы физической памяти используется совместно какими процессами из-за copy-on-write, мне не известно. */


Нашел достаточно простой способ:

pmap -X содержит столбик Pss -- "proportional set size" -- Объем страниц в памяти поделенный на количество процессов разделячщих страницы. Так если у процесса 1000 страниц, которые пользует лично он, и еще 1000 страниц, общих с другим процессом, то Pss будет 1500. https://www.kernel.org/doc/Documentation/filesystems/proc.txt

Запускаем скрипт, который инициализирует на куче большой массив, делает форк, и постепенно меняет случайные значения в массиве:

perl -e '$max=1000000; @c=1..$max; $pid=fork; @c[map{rand()*$max}1..100]=() while sleep 1'

Находим пару процессов скрипта и наблюдаем pmap -X:

perl -e 'while(sleep 1){$pids=join" ",map{/([0-9]+)/ && $1!=$$?"$1":()}`ps -ef|grep perl|grep sleep`; print `pmap -X $pids`}'

Видно, что Pss на строке heap стартует с половины Rss и постепенно увеличивается с убывающей скоростью.

Еще пишут, что /proc/<pid>/pagemap содержит соответствие между виртуальной и физической памятью (в бинарном виде), и имея CAP_SYS_ADMIN, можно его читать: https://www.kernel.org/doc/Documentation/vm/pagemap.txt Но с этим я эксперементировать уже не стал.

2

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.