1

У меня есть

DataTable Adress_for_mapping

Необходимо записать её в CSV файл построчно, потому что если записывать целый документ, то не хватает памяти для этого - OutOfMemoryException. Пробую это сделать вот так, всё работает, но очень долго:

StringBuilder sb = new StringBuilder();

string[] columnNames = Adress_for_mapping.Columns.Cast<DataColumn>().
  Select(column => column.ColumnName).
  ToArray();
sb.AppendLine(string.Join(";", columnNames));
File.AppendAllText(@".\Res_mapping.csv", sb.ToString(), Encoding.GetEncoding(1251));
sb.Clear();

foreach (DataRow row in Adress_for_mapping.Rows)
{
  string[] fields = row.ItemArray.Select(field => field.ToString()).
    ToArray();
  sb.AppendLine(string.Join(";", fields));   
  File.AppendAllText(@".\Res_mapping.csv", sb.ToString(), Encoding.GetEncoding(1251));
  sb.Clear();
}
4
  • зачем писать одну строку в StringBuilder и сливать его в файл? Почему бы не писать строку сразу в файл?
    – tym32167
    21 янв 2019 в 16:29
  • "записывает данные в файл некорректно" - в чем заключается "некорректность", мы должны угадать?
    – user176262
    21 янв 2019 в 16:30
  • Зачем на каждый чих открывать файл на запись? Почему бы не открыть файл на запись в начале вашего алгоритма, записать в него что хотите, и закрыть в конце алгоритма?
    – tym32167
    21 янв 2019 в 16:30
  • Посмотрите тут: github.com/ClnViewer/Dictionary-CSV-Extensions правда это для работы с Dictionary, но методы записи по сути теже, с DataTable даже попроще будет.
    – NewView
    21 янв 2019 в 16:42

3 ответа 3

0

А почему бы полностью не избавиться от StringBuilder? Пишем сразу в файл.
Благодаря некоторым допущениям получаем максимально компактный код.

using (var streamWriter = new StreamWriter(@".\Res_mapping.csv", false, Encoding.GetEncoding(1251)))
{
    var columns = Adress_for_mapping.Columns.Cast<DataColumn>();
    streamWriter.WriteLine(string.Join(";", columns));

    foreach (DataRow row in Adress_for_mapping.Rows)
    {
        streamWriter.WriteLine(string.Join(";", row.ItemArray));
    }
}

Метод DataColumn.ToString выдает имя колонки, так что можно убрать Select. Однако, если среди колонок есть вычисляемые, с непустым свойством Expression, тогда Select нужен. Вызов ToArray тоже не обязателен, т. к. одна из перегрузок string.Join принимает IEnumerable.

Метод string.Join также принимает на вход массив объектов, между тем DataRow.ItemArray им и является, так что лишние преобразования не нужны.


Код легко преобразовать в асинхронный, использовав методы WriteLineAsync (не забываем async/await где нужно).

Можно ещё сократить потребление памяти (вернее, облегчить работу сборщика мусора), избавившись от создания строк с помощью string.Join. Для этого используем метод Write - пишем каждый элемент сразу в файл. Естественно, код увеличится в размере.


Теперь немного критики.

Не используйте однобайтовую кодировку. Ведь если в ваших данных окажутся символы, не входящие в набор символов этой кодировки, то они в результате исчезнут. Используйте юникод: UTF-8 или UTF-16.

Что за название такое: Adress_for_mapping? Ознакомьтесь: Naming Guidelines, ещё сслыка.


Этот код, так же, как и ваш, приведёт к неправильному результату, если в данных содержится символ-разделитель (в данном случае ;). Нужно обрамлять такие поля в кавычки. Или взять стороннюю библиотеку, как предлагает Andrew, чтобы не мучаться вручную.

По поводу долгой работы кода. Если данных много - ничего с этим не поделать. Мы ограничены скоростью процессора и (в большей мере) скоростью накопителя.
На заметку: DataTable тоже весьма не быстр. Если есть возможность - переходите на коллекции строго типизированных объектов.

0

(ответ НЕ через StringBuilder )

Зато учитывает полностью все подводные камни использования CSV формата. Например, экранирование строк-ячеек которые имеют знак-разделитель внутри или переход на следующую строку.... Что долго и муторно учитывать при собственной ручной реализации чтения CSV.

можно взять библиотеку с ответа: Как просто работать с / открыть / изменить / сохранить Excel - xlsx / CSV файлы

и тогда выйдет что-то вроде:

Csv csv = new Csv(';'); //раз уж в твоем примере использовался этот разделитель

string[] columnNames = Adress_for_mapping.Columns.Cast<DataColumn>().
    Select(column => column.ColumnName).ToArray();
csv.AddRow(columnNames);

foreach (DataRow row in Adress_for_mapping.Rows)
{
  string[] fields = row.ItemArray.Select(field => field.ToString()).ToArray();
  csv.AddRow(fields);
}

csv.FileSave("c:\\file2.csv");
2
  • если записывать целый документ, то не хватает памяти для этого?
    – tym32167
    21 янв 2019 в 17:52
  • аа, пропустил этот момент.... Да, тогда это не катит как ответ =( Но на всякий случай оставлю как ответ гуглящим. 21 янв 2019 в 17:58
0

Накатал на основе кода из вопроса

private void SaveDgvToFile(DataGridView dgv, char separator, string filePath)
{
    ClearFile(filePath);

    StringBuilder sb = new StringBuilder();

    sb.AppendLine( GetDgvHeadersLine(dgv, separator) );

    for (int i = 0; i<= dgv.Rows.Count; i++)
    {
        sb.AppendLine(  GetDgvDataStr(dgv, separator, i) );

        if (i%1000 == 0)// сохраняем каждые 1000 строк
        {
            AppendToFile(sb, string filePath);
            sb.Clear();
        }
    }
    AppendToFile(sb, string filePath);//сохраняем остаток

}

private string GetDgvHeadersLine(DataGridView dgv, char separator)
{
    string[] columnNames = dgv.Columns.Cast<DataColumn>().
                               Select(column => column.ColumnName).ToArray();

    return string.Join(separator, columnNames);
}

private string GetDgvDataStr(DataGridView dgv, char separator, int index)
{
    string[] fields = dgv.Rows[index].ItemArray.
                               Select(field => field.ToString()).ToArray();

    return string.Join(separator, columnNames);
}

private void AppendToFile(StringBuilder sb, string filePath)
{
    File.AppendAllText(filePath, sb.ToString(), Encoding.GetEncoding(1251));
}

private void ClearFile(string filePath)
{
    System.IO.File.WriteAllText(filePath,string.Empty);
}

Код писал из головы в блокнот не проверяя. Так что могут быть синтаксические и мелкие логические ошибки.

4
  • зачем вам вообще StringBuilder? Ну и для каждой строчки открывать файл на запись?
    – tym32167
    21 янв 2019 в 18:46
  • @tym32167 для каждых 1000 строк, попрошу! Почему для каждой строчки? Ну можно сделать для каждых 10 000 строк....) Но я не знаю что там за данные и не будет ли OutOfMemory в таком случае. А StringBuilder нужен что бы не плодить переобьявлений строк в памяти. А для чего он еще используется? :) Или есть какие-то замечания по поводу его использования? 21 янв 2019 в 18:47
  • ну и да, согласен что можно оптимизировать запись -- что бы открытие под запись осуществлялось только 1 раз. Но мне влом было (для этого нужно было гуглить ибо давно не работал с этим, а гуглить было влом) 21 янв 2019 в 19:00
  • конечно есть, 1) Вы используете StringBuilder как буфер записи на диск, которым он, по сути, не является 2) Магическое число 1000 ничего не говорит о размере записываемых данных 3) запись по 1000 строк с открыванием/закрыванием файла тоже может быть ооочень медленной, особенно если строк оч много. Как поступить? Писать обычным StreamWriter'ом с буфером, как пример
    – tym32167
    21 янв 2019 в 19:07

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.