0

В один момент из сторонних API наш сервис получает определённую информацию. Эту информацию нам необходимо сохранить у себя в БД. Однако возможна такая ситуация, что данные будут скачены повторно. Соответственно это либо запись новой информации с удалением старой (недопустимо в нашей ситуации), либо игнорирование дубликатов. На текущий момент для игнорирования дубликатов я вижу 2 пути:

  1. Перед внесением изменений в БД взять все существующие данные, и сравнивать их. Данный подход мне не нравится тем, что нужно обрабатывать все имеющиеся записи - это означает, что будет скушано много оперативки зазря.
  2. Добавлять каждую запись поштучно, затем на каждую запись вызывать SaveChanges - если будет встречен дубликат, то будет брошено исключение. Данный подход не нравится тем, что это займёт много времени на то, чтобы каждый раз обращаться к БД.

Есть ли в Entity FrameWork Core менее закостыленный способ решения проблемы с дубликатами?

4
  • 1
    Анатолий, а как бы Вы сделали это без EntityFramework? Допустим у Вас есть база данных и надо сделать описанное Вами с помощью запроса. 29 апр 2020 в 14:28
  • @IgorIlyichyov Я, к моему стыду, слаб в SQL, поэтому вырожу мысль как смогу: нечто вроде Insert Ignore <нужные данные>. Соответственно если в момент записи такие данные уже есть, то Insert игнорируется, если нет - пишутся
    – Anatoly
    29 апр 2020 в 15:01
  • Если поискать, то чаще всего находятся ответы, реализующие ваш первый способ. Даже здесь на stackoverflow десятки таких заплюсованных ответов. Но он неправильный - т. к. вставка дубликата может быть произведена другим пользователем уже после проверки. 29 апр 2020 в 15:03
  • Ваш второй способ - пожалуй, правильный. Именно так и делайте: SaveChanges - отлов исключения - в исключении содержится та Entity, которая вызвала проблему - удаляем её из контекста (детачим) - повторяем сначала. 29 апр 2020 в 15:05

2 ответа 2

1

После правильно поставленного вопроса @IgorIlyichyov в комментариях к самому вопросу, решение в некоторой степени оказалось на поверхности. Насколько я понял, в самом Entity FrameWork Core подходящего решения не предусмотрено. Так что как вариант - использовать SQL: (для примера взяты страны)

    public async Task AddCountries()
    {
         List<Country> countries = new List<Country>() {
            new Country() { Alpha2 = "AB", EnName = "Republic Of Abkhazia" },
            new Country() { Alpha2 = "AD", EnName = "Andorra" } };

        string sqlCommand = "INSERT IGNORE INTO `Countries` (`Alpha2`, `EnName`) VALUES";

        for (int i = 0; i < countries.Count; i++)
        {
            sqlCommand += $" (\"{countries[i].Alpha2}\", \"{countries[i].EnName}\")";
            if (i == countries.Count - 1)
            {
                sqlCommand += ";";
            }
            else
            {
                sqlCommand += ",";
            }
        }

        var countOfChangedStrings = await _db.Database.ExecuteSqlRawAsync(sqlCommand);
     }


public class Country
{
    [Key]
    public string Alpha2 { get; set; }
    public string EnName { get; set; }
}

При таком подходе нужно быть аккуратным с SaveChanges() - он не требуется.

UPD: Как верно было подмечено в комментариях, такой подход сработает с MySQL, а вот с другими СУБД - не всегда

1
  • 1
    Кстати, всегда указывайте с какой именно СУБД работаете. Судя по insert ignore - это MySql. Не во всех СУБД есть такая конструкция. 29 апр 2020 в 16:56
0

Я бы сделал так: перед тем как записать в таблицу проверил бы на уникальность по какому нибудь ид.

.Any(x=>x.Id == entity.Id)

Приблизительно вот так:

private bool CheckIfEntityRecordExists(Entity e)
{
    var retVal = false;
    using (var db = new EntityContext())
    {
        retVal = db.Clients.Count(a => a.Id == e.Id) > 0;
    }
    return retVal;
}
1
  • 2
    В общем случае это не работает. Проверка может выдать, что запись не существует, в этот момент другой пользователь/процесс/поток вставит в БД свою запись, тут мы вставляем запись - упс, Exception - уже дубликат. 29 апр 2020 в 14:52

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.