0

cellsData - массив данных (List), который нужно записать в .xslx файл по средствам OpenXML, так как данных достаточно много, решили разбить запись в worksheet с помощью потоков.
Метод WriteCellInTable производит запись части sheetData в worksheet.

В одну и туже ячейку таблицы данные могут записываться несколько раз, важно что-бы в ячейке остались самые последние данные, а при работе с двумя и более потоками, при записи в одну и туже ячейку, возникает накладка и в ячейке могут остаться неактуальные данные. Как этого избежать и имеет ли место такое решение в принципе?

        int prCount = Environment.ProcessorCount;
        Thread[] threads = new Thread[prCount - 1];

        int part = cellsData.Count / prCount;
        int begin = 0, thrNum = 0;
        for (int i = 0; i < prCount; i++)
        {
            if (i == prCount - 1)
            {
                part = cellsData.Count - begin;
                WriteCellInTable(new Object[] { (Object)begin, (Object)part, (Object)sheetData }); //В текущем потоке
                break;
            }
            threads[thrNum] = new Thread(WriteCellInTable);
            threads[thrNum].Start(new Object[] { (Object)begin, (Object)part, (Object)sheetData }); //Новый поток
            begin += part;
            thrNum++;
        }

        Columns columns = new Columns();
        InsertColumnWidth(columns);

        MergeCells mergeCells = new MergeCells();
        SetMergeCell(mergeCells);

        for (int i = 0; i < thrNum; i++)
            threads[i].Join();

        worksheet.Append(new SheetFormatProperties() { DefaultRowHeight = 15D, DyDescent = 0.25D });
4
  • данных "много" - это сколько?
    – klutch1991
    16 мар 2017 в 10:55
  • Просто интересно, сколько же у Вас элементов в коллекции, что Вы хотите выиграть существенное количество времени на записи данных в один excel-файл из нескольких потоков, а уж считая файл, в который вы записываете данные разделяемым ресурсом (в контексте потоков), то запись в файл нужно поместить в критическую секцию, что уже не позволит нескольким потокам писать в файл одновременно. В этой ситуации Вы выиграете только на этапе преобразования данных объектов, содержащихся в коллекции..
    – klutch1991
    16 мар 2017 в 11:02
  • @klutch1991, ну допустим я заполняю 300к ячеек данными. И приведенный код на 4 потоках работает практически в 4 раза быстрее. И если нет накладок (нет перезаписи ячеек), то все отлично, а если есть накладки, то тут уже все по другому.
    – K. Kulahin
    16 мар 2017 в 11:17
  • Накладки возникают из-за того, что доступ к файлу они получают одновременно. Для корректной работы с разделяемым ресурсом (в Вашем случае - с xls файлом), запись в него нужно поместить в конструкцию lock(){}, тогда накладок не будет. Но существенный выигрыш в производительности вы вряд ли получите.
    – klutch1991
    16 мар 2017 в 11:46

1 ответ 1

2

Если метод WriteCellInTable обращается одновременно из разных потоков к одному и тому же объекту без всякой синхронизации - это неправильно. Результаты измерения производительности такого кода не должны учитываться. Подробнее о синхронизации можно прочитать в данной статье

Но допустим, вы переделываете код, заключив содержимое WriteCellInTable в конструкцию lock. Тогда конфликты исчезнут, но цель увеличения производительности не будет достигнута. Дело в том, что выигрыш в производительности путем использования многопоточности можно получить только если потоки не конкурируют за общие ресурсы: обращаясь к разделяемому ресурсу, потоки будут проводить много времени в ожидании освобождения ресурса, и в итоге толку нет.

Чтобы действительно улучшить производительность, вы должны сделать, чтобы каждый поток оперировал только своим ограниченным множеством ячеек (например, один поток на один лист). Тогда можно ожидать какого-то улучшения производительности.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.