8

Есть 2 csv файла с содержимым

1.csv

spain;russia;japan
italy;russia;france

2.csv

spain;russia;japan
india;iran;pakistan

Считываю оба файла и заношу их содержимое в список

var lst1= File.ReadAllLines("1.csv").ToList();
var lst2= File.ReadAllLines("2.csv").ToList();

Затем я ищу уникальные элементы из обоих списков

var rezList = lst1.Except(lst2).Union(lst2.Except(lst1)).ToList();

В rezlist у нас следюущие данные.

[0] = "italy;russia;france"
[1] = "india;iran;pakistan"

Теперь же я хочу сравнить оба csv-файла по второй и третьей колонке. Как мы выдими разделители колонок у нас ;

class StringLengthEqualityComparer : IEqualityComparer<string>
    {

        public bool Equals(string x, string y)
        {
            return (x.Split(';')[1] == y.Split(';')[1] && x.Split(';')[2] == y.Split(';')[2]);
        }

        public int GetHashCode(string obj)
        {
            return obj.Split(';')[1].GetHashCode();
        }
    }

 StringLengthEqualityComparer stringLengthComparer = new StringLengthEqualityComparer();
 var rezList = lst1.Except(lst2,stringLengthComparer ).Union(lst2.Except(lst1,stringLengthComparer),stringLengthComparer).ToList();

Вопрос. Как правильно составить класс StringLengthEqualityComparer чтобы он искал уникальные значения по двум колонкам?

26
  • нет не дубль...
    – Radzhab
    20 авг 2016 в 7:20
  • Структура файла заранее известна? Количество полей хотя бы
    – Zufir
    22 авг 2016 в 5:27
  • количество колонок всегда статично. На данный момент я могу спокойно сравнивать по одной колонке, но вот если колонок 2. Как тогда использовать GetHashCode?
    – Radzhab
    22 авг 2016 в 5:56
  • @Radzhab MD5 не рассматриваете для сравнения 2х колонок ? 22 авг 2016 в 6:59
  • 1
    @MarkShevchenko, не, не будет, складывать хэшкоды вообще не очень, потому что в данном случае он будет одинаковым для a;b и b;a что неверно, так как столбцы имеют разное значение
    – Grundy
    26 авг 2016 в 10:58

4 ответа 4

6

Интерфейс IEqualityComparer<T> предоставляет возможность расширения или замены логики сравнения объектов. Он используется, например, в таких структурах, как Dictionary<K, V> и HashSet<T>, а также в некоторых методах, которые активно пользуются сравнением объектов (как например использованный вами метод расширения Except()).

Как известно, для того, чтобы иметь возможность корректно сравнивать объекты, в них должны быть переопределены методы Equals() и GetHashCode(), причем должны соблюдаться следующие условия:

  • стандартные условия для равенства (например, транзитивность)
  • два равных объекта должны давать одинаковое значение хэшкода

(При этом два разных объекта могут иметь равные хэшкоды -- это называется коллизией и должно случаться как можно реже.)

Оба этих метода активно используются структурами Dictionary<K, V>, HashSet<T>, а также внутренним классом Set<T>, который используется в методе Except().

В случае, когда мы не хотим или не имеем возможности изменять логику сравнения для существующих типов, на помощь нам и приходит интерфейс IEqualityComparer<T> -- вместо вызовов методов Equals() и GetHashCode() у самих объектов, эти методы вызываются у компаратора. Именно поэтому этот интерфейс содержит оба метода, а не один Equals(). А также именно поэтому реализация компаратора должна соблюдать обозначенные выше условия.


Приведенная вами реализация компаратора дает корректные результаты сравнения, однако при большом объеме данных может свести на нет все преимущества быстрой работы метода Except(). Для пар a;b и a;c выдастся одинаковый хэшкод, они попадут в одну корзину внутри Set<T>, что ухудшает показатели скорости работы (подробнее читайте в статьях о том, как работают хэш-таблицы).

Поэтому правильная реализация должна использовать те же поля, которые используются в Equals(), т.е. колонки 1 и 2 (про хэш-функции также читайте в статьях о хэш-таблицах). Например:

public int GetHashCode(string obj)
{
    var valuesArray = obj.Split(';')
    int hashcode = valuesArray[1].GetHashCode();
    hashcode = hashcode * 31 + valuesArray[2].GetHashCode();
    return hashcode;
}

На этом реализация компаратора закончена.


Однако в целом производительность такого решения оставляет желать лучшего. Поскольку вы вызываете Except() дважды, то для каждой пары строк из обоих файлов методы компаратора (по крайней мере, GetHashCode()) будут вызываться дважды. Вкупе с избыточными разбиениями внутри этих методов картина получается нерадостная.

Можно пойти по другому пути, например, заранее разбить строки:

var splittedLst1 = lst1.Select(i => i.Split(';'));
var splittedLst2 = lst2.Select(i => i.Split(';'));

Затем получить разницу:

var comparer = new StringLengthEqualityComparer();
var rezList = splittedLst1
    .Except(splittedLst2, comparer)
    .Union(splittedLst2.Except(splittedLst1, comparer));

А при необходимости снова склеить строки:

foreach (var item in rezList)
{
    Console.WriteLine(string.Join(";", item));
}

При таком подходе каждая строка будет разбита всего один раз, а код компаратора упростится:

class StringLengthEqualityComparer : IEqualityComparer<string[]>
{
    public bool Equals(string[] x, string[] y)
    {
        return x[1] == y[1] && x[2] == y[2];
    }

    public int GetHashCode(string[] obj)
    {
        var hashcode = obj[1].GetHashCode();
        hashcode = hashcode * 31 + obj[2].GetHashCode();
        return hashcode;
    }
}

Если вы ожидаете строки разной длины (в смысле количества колонок), то нужно изменить компаратор таким образом, чтобы он корректно работал со строками разной длины.

Провел небольшой тест для сравнения производительности. В качестве тестовых данных склеил 10000 раз приведенные вам двухстрочники. Разница в результатах при этом получилась следующая:

Radzhab: 332ms

andreycha: 63ms

0
2

Как уже написали в комментариях, лучше отказаться от IEqualityComparer, т.к., имхо, это попытка заставить кота лаять. У нас единицы информации — это "ячейки", т.е. слова конкретные, оперирование строками с этими словами порождает неудобные и багоопасные конструкции с прямым индексированием (кстати, легковесное в теории сравнение превратилось в 4-кратный вызов разбиения строки на подмассив; даже по алгоритму достаточно двух раз), что собственно ни к чему, если изначально всё разбить на слова. Т.е. в чём оптимизация, если выделяется больше памяти, больше операций и прямые индексы?

Сперва, на мой взгляд надо подготовить строки, т.е. в нашем случае можно всё загнать просто в двумерный массив строк, и все операции производить в нём, с отдельными словами.

1
  • Компаратор в данном случае весьма удобен, поскольку при его использовании логика получения уникальных строк пишет в одну строчку.
    – andreycha
    28 авг 2016 в 17:40
1
private void GetUnion(List<string> lst1, List<string> lst2)
{
    // List для результата
    List<string> lstUnion = new List<string>();
    foreach (string value in lst1)
    {
        string valueColumn1 = value.Split(';')[0];
        string valueColumn2 = value.Split(';')[1];
        string valueColumn3 = value.Split(';')[2];

        // Ищем совпадения, есть ли valueColumn2 и valueColumn3 в lst2 во 2-й и 3-й колонке, 
        // С 1-й и 2-й не перепутаем, 
        // ";russia;japan" - такая последовательность со знаком ';' в начале
        // может быть только если текст начинается со второй колонки.
        string result = lst2.FirstOrDefault(s => s.Contains(";" + valueColumn2 + ";" + valueColumn3));

        if (result != null) // если совпадения есть
        {
            if (!lstUnion.Contains(result)) // и если значение уже не добавлено
            {
                lstUnion.Add(result);
                MessageBox.Show(result); // для проверки
            }                   
        }
    }
// В итоге в lstUnion одно значение - "spain;russia;japan"
}
3
  • В итоге в lstUnion одно значение - "spain;russia;japan" -- а требуется уникальные элементы найти.
    – andreycha
    28 авг 2016 в 17:57
  • То есть, сначала уникальные значения из lst1, а потом уникальные значения из lst2? В чём тогда сравнения двух файлов?
    – DartAlex
    28 авг 2016 в 18:51
  • Если так, то просто сравнивать уже с lstUnion, если нет значения, то добавляем. Сначала string result = lstUnion.FirstOrDefault(s => s.!Contains(";" + valueColumn2 + ";" + valueColumn3)); и так прогнать для lst1 и lst2
    – DartAlex
    28 авг 2016 в 18:56
0
  1. Открываешь .csv как двумерный массив данных с помощью:

Как просто работать с / открыть / изменить / сохранить Excel / CSV файлы

  1. Сравниваешь сначала по количеству ячеек в массивах, а потом если оно одинаковое, то по нутрянке ячеек двумя foreach (один во втором).

:)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.