3

Имеется цикл, перебирающий тучу строк (более 100000). Для каждой строки вызывается функция:

for (QList<QString>::iterator i = list.begin(); i != list.end(); ++i)
    Checker::CheckIt((*i));

Checker::CheckIt(QString str) 
{
    check.start("addToCheckList " + str);
    check.waitForFinished();
    check.close();
    check.kill();
}

Занимает эта операции таки не мало времени, несколько минут.

Каким образом лучше реализовать подобное и как можно ускорить процесс обработки? Создовать новый объект для каждой команды QProcess command = new QProcess();? Тогда как его удалять из памяти после завершения?

10
  • Если Вы будете создавать объекты на каждый чих, то вряд ли что то ускорите. Хотите ускорить - ускоряйте addToCheckList. Если эта программа не работает быстро, то оптимизировать QProcess нет смысла.
    – KoVadim
    Commented 31 авг. 2014 в 8:53
  • Дело в том, что мне не нужен ответ от нее, а лишь отправить команду и забить.
    – avengerweb
    Commented 31 авг. 2014 в 11:18
  • Используйте QProcess::startDetached(): qt-project.org/doc/qt-5/qprocess.html#startDetached Commented 31 авг. 2014 в 17:37
  • Попробуйте распараллелить через openMP, чтобы задействовать все ядра. Если речь идет об обработке более чем 100 000 элементов, каждая из которых занимает ядро на пару минут, разумно распараллелить процесс обработки между многими машинами. В таком случае очень удобно будет использовать ZeroMQ. Если же процесс обработки на самом деле не ест процессорное время, а ест только время, например, в ожидании какого-то ответа с какого-то сервера, то разумно увеличивать количество Checker, пока оно будет давать увеличение в скорости, запуская каждый в отдельном потоке.
    – Arkady
    Commented 1 сент. 2014 в 7:19
  • На обработку 117000 элементов уходит около 5 минут. Мне не нужно ждать ответа от выполненной команды.
    – avengerweb
    Commented 1 сент. 2014 в 7:52

2 ответа 2

3

Обязательно нужен QProcess? Если нет, то можно через QThread. Например, "разбить" общий контейнер на куски, заданные начальным и конечным итератором. Создать свои объекты-наследники QThread, куда передавать итераторы начала и конца.

class MyProc : public QThread
{
...
MyProc(QList<QString>::ConstIterator from, QList<QString>::ConstIterator to);
virtual void run() 
{ 
    for(QList<QString>::ConstIterator it = m_from; it != m_to; ++it)
    {
        Checker::CheckIt(*it);
    }
}
};

Вызвать можно примерно так:

int part = list.size()/num_of_processes;
if(list.size()%num_of_processes>0) part += 1;
for(QList<QString>::ConstIterator it = list.begin(); 
it !=  list.end(); 
(it + (part+1) < list.end())? (it+=(part+1)) : (it=list.end()) )
{
    QList<QString>::ConstIterator it2 = (it + (part+1) < list.end())? (it+(part+1)) : (list.end());
    MyProc *myproc = new MyProc(it,it2);
    myproc->start();
}

В этом наброске конечный итератор to - "не включительный", т.е. следующий за конечным.

В лучшем случае это даст ускорение в количество раз, равное количеству процессоров.

3

Удалять из памяти по завершению процесса лучше всего так:

QProcess* proc = new QProcess();
connect(proc, SIGNAL(finished(int)), proc, SLOT(deleteLater()));

Такое удаление будет безопасным, и произойдет только когда процесс полностью завершится. При этом вы не забудете очистить память - так как код очистки сразу следует за созданием процесса.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.