3

Имеется цикл, перебирающий тучу строк (более 100000). Для каждой строки вызывается функция:

for (QList<QString>::iterator i = list.begin(); i != list.end(); ++i)
    Checker::CheckIt((*i));

Checker::CheckIt(QString str) 
{
    check.start("addToCheckList " + str);
    check.waitForFinished();
    check.close();
    check.kill();
}

Занимает эта операции таки не мало времени, несколько минут.

Каким образом лучше реализовать подобное и как можно ускорить процесс обработки? Создовать новый объект для каждой команды QProcess command = new QProcess();? Тогда как его удалять из памяти после завершения?

10
  • Если Вы будете создавать объекты на каждый чих, то вряд ли что то ускорите. Хотите ускорить - ускоряйте addToCheckList. Если эта программа не работает быстро, то оптимизировать QProcess нет смысла.
    – KoVadim
    31 авг 2014 в 8:53
  • Дело в том, что мне не нужен ответ от нее, а лишь отправить команду и забить.
    – avengerweb
    31 авг 2014 в 11:18
  • Используйте QProcess::startDetached(): qt-project.org/doc/qt-5/qprocess.html#startDetached 31 авг 2014 в 17:37
  • Попробуйте распараллелить через openMP, чтобы задействовать все ядра. Если речь идет об обработке более чем 100 000 элементов, каждая из которых занимает ядро на пару минут, разумно распараллелить процесс обработки между многими машинами. В таком случае очень удобно будет использовать ZeroMQ. Если же процесс обработки на самом деле не ест процессорное время, а ест только время, например, в ожидании какого-то ответа с какого-то сервера, то разумно увеличивать количество Checker, пока оно будет давать увеличение в скорости, запуская каждый в отдельном потоке.
    – Arkady
    1 сен 2014 в 7:19
  • На обработку 117000 элементов уходит около 5 минут. Мне не нужно ждать ответа от выполненной команды.
    – avengerweb
    1 сен 2014 в 7:52

2 ответа 2

3

Обязательно нужен QProcess? Если нет, то можно через QThread. Например, "разбить" общий контейнер на куски, заданные начальным и конечным итератором. Создать свои объекты-наследники QThread, куда передавать итераторы начала и конца.

class MyProc : public QThread
{
...
MyProc(QList<QString>::ConstIterator from, QList<QString>::ConstIterator to);
virtual void run() 
{ 
    for(QList<QString>::ConstIterator it = m_from; it != m_to; ++it)
    {
        Checker::CheckIt(*it);
    }
}
};

Вызвать можно примерно так:

int part = list.size()/num_of_processes;
if(list.size()%num_of_processes>0) part += 1;
for(QList<QString>::ConstIterator it = list.begin(); 
it !=  list.end(); 
(it + (part+1) < list.end())? (it+=(part+1)) : (it=list.end()) )
{
    QList<QString>::ConstIterator it2 = (it + (part+1) < list.end())? (it+(part+1)) : (list.end());
    MyProc *myproc = new MyProc(it,it2);
    myproc->start();
}

В этом наброске конечный итератор to - "не включительный", т.е. следующий за конечным.

В лучшем случае это даст ускорение в количество раз, равное количеству процессоров.

3

Удалять из памяти по завершению процесса лучше всего так:

QProcess* proc = new QProcess();
connect(proc, SIGNAL(finished(int)), proc, SLOT(deleteLater()));

Такое удаление будет безопасным, и произойдет только когда процесс полностью завершится. При этом вы не забудете очистить память - так как код очистки сразу следует за созданием процесса.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.