3

Подскажите, где и как выделяется память под массив arr в следующем случае:

#include <stdlib.h>
#include <stdio.h>

int *arr[1024 * 1024 * 50];

int main(int argc, char **argv)
{ return 0; }

Я раньше предполагал, что память под массив arr выделяется в стеке программы. Но потом узнал про то, что помимо стека и кучи в программе есть еще несколько областей.

Странность заключается в том, что приведенная выше программа при запуске занимает лишь 0.5 МБ, а не ~50 МБ.

И дело не в том, что компилятор ампутировал бессмысленные инструкции.

Есть рабочий код, в котором присутствует кольцевая очередь, реализованная при помощи статичного глобального массива указателей, как в примере выше. Так вот, если очередь заполняется, то программа начинает занимать больше памяти, но если она очищается, то программа занимает в памяти гораздо меньше места, чем требуется под один лишь массив указателей. Получается, он существует в памяти не всегда?

Как это работает?

PS. Например, вот программа, на Windows 10 она должна (по логике) во время запуска выделять 400 МБ под arr, но, по факту, память выделяется постепенно, по мере обращения к ячейкам массива:

#include <stdio.h>
#include <stdlib.h>

int *arr[1024 * 1024 * 100] = { NULL };

int main(int argc, char **argv)
{
    _sleep(3000);

    // Зададим значения всему массиву, обрабатывая по его четвертями, с паузой.
    for (size_t i = 0; i < 4; ++i)
    {
        for (size_t j = 0; j < 1024 * 1024 * 25; ++j)
        {
            arr[1024 * 1024 * 25 * i + j] = i - j;
        }
        printf("+\n");
        _sleep(1000);
    }

    system("pause");
    return 0;
}
5
  • "Странность заключается в том, что приведенная выше программа при запуске занимает лишь 0.5 МБ, а не ~50 МБ." - первое: а если добавить код для работы с arr? И второе - а как вы это проверяете?
    – Harry
    21 июн 2018 в 10:42
  • Код добавлял. Говорю же, существует уже рабочий код с кольцевой очередью, в которой очередь - это статичный массив указателей. Если очередь заполняется - программа занимает больше и больше памяти. Если очередь пуста, по диспетчеру задач видно, что программа занимает столько памяти, что в ней никак не может существовать массив на 100 миллионов указателей.
    – user294535
    21 июн 2018 в 10:46
  • 1
    Ну так не проходит физическое выделение памяти, пока она не востребована. Кстати, это одна из причин, по которой Саттер в своих "Сложных задачах" пишет о том, что особого смысла обработка прерывания от new не имеет...
    – Harry
    21 июн 2018 в 11:05
  • 1
    Память под arrвыделяется в bss сегменте. Который создан именно в целях экономии памяти. Это может помочь.
    – vonaka
    21 июн 2018 в 11:48
  • Понял, спасибо вам большое. Я просто думал, что в диспетчере задач отображается вся память, запрошенная процессом у системы, в том числе "спящие" виртуальные и свапнутые на диск страницы.
    – user294535
    21 июн 2018 в 12:06

1 ответ 1

2

У windows есть виртуальная память. Вы запросили 50 Мб виртуальной памяти - вам её выдали. А есть физическая память, под вашу виртуальную память ведётся статистика использования страниц, если вы использовали 2-ве страницы (по 4K), то физически ОS под 50Мб даст вам 8К физической памяти. Но как только вы начинаете эту память активно использовать - ОS под неё начинает выдавать больше и больше физической памяти поэтому и поведение такое.Так как память неинициализорована (упомянут BSS сегмент) - она находится в области"виртуального хвоста",поэтому виртуально она есть, а физическая память на неё выделяется при заполнении. Мало того, статистика собирается, и если какой-то кусок памяти не используется OS может забрать страницу физической памяти назад.

Виртуальная память - это часть защищенного режима. Она представляет собой большую таблицу в реальной памяти, где стоят отметки какая страница используется, а какая нет. При работе программы, если попалась "неиспользуемая" страница - запускается "служебная программа" (исключение-прерывание) которая либо на уровне OS генерирует исключение Access violation (если нарушены правила использования памяти) либо подставляет под этот кластер (страницу виртуальной памяти) - кусочек реальной памяти. Да... память может быть сброшена в файл подкачки, тогда кроме подстановки реальной памяти, в неё будет прочитано содержимое с диска (если она записывалась на диск - в файл подкачки, или если это статический модуль). Под каждый процессорный дескриптор нити (thread-защищенного режима) ставится своя таблица распределения памяти (это не те thread которые доступны по WINAPI).

Поэтому работая с при работе с виртуальной памятью, заранее не извесно находится память на диске, в памяти, или её нет вообще. Т.е. у вас может быть 100Мб виртуальной памяти, а на самом деле 0. Поэтому она так и называется "виртуальная". В OS Windows с уровня приложения, другие виды памяти использовать не положено. Такой механизм позволяет многозадачной среде оптимально распределить память между задачами. Т.е. OS играет с всеми приложениями в карты с памятью, стараясь раздать их так - что б всем хватило.

Советую функцию GlobalMemoryStatusEx она даёт как раз и состояние физической памяти, и состояние виртуальной памяти, и состояние файла подкачки.

Ссылки

2

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.