2

Всем привет!

В программе имеется большой массив измерений 5000 на 3000 точек. Каждая точка это структура данных передаваемая через QSharedPointer. Мне показалось что лучше всего будет так точки и хранить для отображения и обработки.

Но когда доходит дело до очистки массива все становится очень плохо, на удаление этого массива уходят десятки минут. В output я вижу список закрывающихся тридов. Я так понимаю что механизм удаления QSharedPointer идет в каких то отдельных потоках? Основной поток приложения тоже дико тормозит, хотя процессор загружен на 15% (удаляю элементы порциями), если разом то конца можно и не дождаться...

Как правильно удалять такие массивы QSharedPointer или идея хранить данные в таком виде изначальна утопична и надо было удалять шареды по мере поступления?


Переписал на обычные указатели, на первый взгляд работает быстрее, но все равно дико медленно. И тут я закрыл студию и запустил проект отдельно... Без студии оба варианта работают быстро, практически неразличимо.

И что это значит? Студия менеджерит работу с памятью и мешает? Или просто освободились ресурсы по памяти? Памяти вроде хватало. Почему создаются данные быстро, а удаляются медленно?


Причина чудовищного замедления - работа отладчика Студии даже для билда releas. В режиме без отладчика скорость работы с QSharedPointer и обычными указателями близки и оба достаточно быстры. Огромный выигрыш получается по памяти, QSharedPointer добавляют до 40% расхода памяти.

10
  • Попробуйте ради эксперимента использовать std::shared_ptr.
    – aleks.andr
    19 ноя 2016 в 17:23
  • это данные которые идут из других модулей и не очень прямыми путями, мне на std::shared_ptr долго переводить. 19 ноя 2016 в 17:32
  • А зачем вообще shared? насколько они необходимы? Если размер массива известен заранее, как я понимаю, структура данных - скорее всего POD... Выделить память одним куском, потом точно так же куском освободить. А 8 миллионов раз обращаться к менеджеру памяти, да еще, скорее всего, не по одному разу (для данных, для счетчика) - так ли это необходимо?
    – Harry
    19 ноя 2016 в 17:48
  • Удаление QSharedPointer в любом случает требует выполнить ряд действий. Проверить количество ссылок на объект, удалить объект если это последний владелец, удалить счетчик ссылок. Плюс все это выполняется потокобезопасно, если мне не изменяет память, что тоже дает дополнительные расходы. Если ваши точки это не полиморфные типы, храните лучше их по значению. 19 ноя 2016 в 17:53
  • Массив известен на момент запуска программы. По ходу выполнения не меняется, но от запуска к запуску может быть изменен. В штатной работе он будет заполнен процентов на 80 да и то в конце, а в начале и при тестовых операция процентов на 10, не хочется сразу 1.5 ГБайта грохать. Shared взялся оттого что так измерения передаются между первыми этапами первичной обработки сигналами qt. Ну и да точки бывают разных видов, а передаются указателем базового класса :) 19 ноя 2016 в 18:15

1 ответ 1

1

Судя по тому, что огромный набор экземпляров QSharedPointer ликвидируется единовременно, можно предположить, что удаление отдельных точек в процессе работы программы не производится. В этом случае неясно, какая польза от использования shared-указателей. По идее, подошли бы и обычные, не облачённые в какую-либо защитную форму.

В случае же, если приёмники сигналов с указателями имеют полномочия производить удаление полученных данных (полномочия по некоему условному соглашению, разумеется) или нет уверенности, что таковое не случится по невнимательности и хочется перестраховаться, то порекомендовал бы взглянуть в сторону QSharedDataPointer, который является более легковесным вариантом (достаточно сравнить исходники обоих типов указателей). Ко всему прочему, при помощи специальных флагов QSharedDataPointer может оптимизированно использоваться как элемент в составе в других Qt-контейнеров.

Другая полумера может заключаться в том, чтобы передавать в конструктор QSharedPointer статическую функцию удаления, которая по факту не будет производить удаление данных, но будет перекладывать уже необременённые интеллектом указатели в отдельный список-контейнер. Далее останется только в нужный момент выполнить единовременную зачистку этого списка (может быть даже в отдельном потоке, если покажется, что тормозит):

static QList<Point*> pnts;

static void deletePoint(Point *pnt) {
    pnts << pnt;
}

static QList<QSharedPointer<Point>> ppnts;

void MyClass::function1() {
    for(int i = 0; i < 100; ++i) {
        ppnts << QSharedPointer<Point>(new Point(), deletePoint);
    }
}

// ... later ...

void MyClass::function1() {
    qDeleteAll(pnts);
}

Но если подойти к вопросу решения проблемы иначе, то вероятнее всего всё же можно будет добиться куда лучшей участи, как по оверхеду на хранение умных указателей, так и по скорости ликвидации данных. Например, можно пересылать в сигналах не указатели на точки, а индексы или ключи единого контейнера. Соответственно, через некий, опять же единый, интерфейс можно по этим индексам или ключам получать доступ к данным.

1
  • Удаление всех точек - это частный случай, естественно по ходу работы есть удаление и некоторых областей и замена отдельных измерений. QSharedPointer использовал для рассылки в сигналах, чтобы приемники ненужные им точки игнорировали, и если точка не нужна в итоге никому она сама бы удалялась. Так же это упрощало варианты подмены данных в результате, просто заменяешь на новые, старые сами удаляются. Сейчас финальный массив переписан на обычные указатели. Спасибо за идеи реализации. 20 ноя 2016 в 6:21

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.