0

Возникла потребность объединить два .csv файла с частично совпадающими заголовками (например, заголовки "a, b, c" в первом и "b, c, d" во втором, чтобы в объединенной .csv были "a, b, c, d" в итоговом). Нашел на просторах интернета следующее решение (в комментариях) и взял оттуда следующий фрагмент кода:

HashSet<string> combinedheaders = new HashSet<string>();
    int i;
    // aggregate headers
    for (i = 0; i < filePaths.Length; i++)
    {
        string file = filePaths[i];
        combinedheaders.UnionWith(File.ReadLines(file).First().Split(splitter));
    }
    var hdict = combinedheaders.ToDictionary(y => y, y => new List<object>());

    string[] combinedHeadersArray = combinedheaders.ToArray();
    for (i = 0; i < filePaths.Length; i++)
    {
        var fileheaders = File.ReadLines(filePaths[i]).First().Split(splitter);
        var notfileheaders = combinedheaders.Except(fileheaders);

        File.ReadLines(filePaths[i]).Skip(1).Select(line => line.Split(splitter)).ForEach(spline =>
        {
            for (int j = 0; j < fileheaders.Length; j++)
            {
                hdict[fileheaders[j]].Add(spline[j]);
            }
            foreach (string header in notfileheaders)
            {
                hdict[header].Add(null);
            }

        });
    }

    DataTable dt = hdict.ToDataTable();

    dt.ToCSV(destinationFile);
}



public static class DataTableHelper
{
    public static DataTable ToDataTable(this Dictionary<string, List<object>> dict)
{
    DataTable dataTable = new DataTable();

    dataTable.Columns.AddRange(dict.Keys.Select(c => new DataColumn(c)).ToArray());

    for (int i = 0; i < dict.Values.Max(item => item.Count()); i++)
    {
        DataRow dataRow = dataTable.NewRow();

        foreach (var key in dict.Keys)
        {
            if (dict[key].Count > i)
                dataRow[key] = dict[key][i];
        }
        dataTable.Rows.Add(dataRow);
    }

    return dataTable;
}

public static void ToCSV(this DataTable dt, string destinationfile)
{
    StringBuilder sb = new StringBuilder();

    IEnumerable<string> columnNames = dt.Columns.Cast<DataColumn>().
                                      Select(column => column.ColumnName);
    sb.AppendLine(string.Join(",", columnNames));

    foreach (DataRow row in dt.Rows)
    {
        IEnumerable<string> fields = row.ItemArray.Select(field => field.ToString());
        sb.AppendLine(string.Join(",", fields));
    }

    File.WriteAllText(destinationfile, sb.ToString());
}
}

Код работает без ошибок и корректно объединяет два .csv файла, но есть одна проблема: в обоих файлах есть значения на русском языке (на кириллице), а после объединения они превращаются в иероглифы. Я пробовал решить проблему с кодировкой, прописав в каждом методе класса File параметр Encoding.UTF8 (три раза в File.ReadLines и один раз в File.WriteAllText), но это лишь превратило иероглифы в другие нечитаемые ромбики с вопросом. Посимвольно их количество совпадает с количеством букв на кириллице, так что подозреваю, что проблема в кодировке.

Хотелось бы спросить, если дело не в параметре Encoding методов класса File, то где еще может ломаться кириллица и как это можно исправить?

1 ответ 1

0

Проблему решил, поменяв везде Encoding.UTF8 на Encoding.Default.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.