0

В один момент из сторонних API наш сервис получает определённую информацию. Эту информацию нам необходимо сохранить у себя в БД. Однако возможна такая ситуация, что данные будут скачены повторно. Соответственно это либо запись новой информации с удалением старой (недопустимо в нашей ситуации), либо игнорирование дубликатов. На текущий момент для игнорирования дубликатов я вижу 2 пути:

  1. Перед внесением изменений в БД взять все существующие данные, и сравнивать их. Данный подход мне не нравится тем, что нужно обрабатывать все имеющиеся записи - это означает, что будет скушано много оперативки зазря.
  2. Добавлять каждую запись поштучно, затем на каждую запись вызывать SaveChanges - если будет встречен дубликат, то будет брошено исключение. Данный подход не нравится тем, что это займёт много времени на то, чтобы каждый раз обращаться к БД.

Есть ли в Entity FrameWork Core менее закостыленный способ решения проблемы с дубликатами?

4
  • 1
    Анатолий, а как бы Вы сделали это без EntityFramework? Допустим у Вас есть база данных и надо сделать описанное Вами с помощью запроса. Commented 29 апр. 2020 в 14:28
  • @IgorIlyichyov Я, к моему стыду, слаб в SQL, поэтому вырожу мысль как смогу: нечто вроде Insert Ignore <нужные данные>. Соответственно если в момент записи такие данные уже есть, то Insert игнорируется, если нет - пишутся
    – Anatoly
    Commented 29 апр. 2020 в 15:01
  • Если поискать, то чаще всего находятся ответы, реализующие ваш первый способ. Даже здесь на stackoverflow десятки таких заплюсованных ответов. Но он неправильный - т. к. вставка дубликата может быть произведена другим пользователем уже после проверки. Commented 29 апр. 2020 в 15:03
  • Ваш второй способ - пожалуй, правильный. Именно так и делайте: SaveChanges - отлов исключения - в исключении содержится та Entity, которая вызвала проблему - удаляем её из контекста (детачим) - повторяем сначала. Commented 29 апр. 2020 в 15:05

2 ответа 2

1

После правильно поставленного вопроса @IgorIlyichyov в комментариях к самому вопросу, решение в некоторой степени оказалось на поверхности. Насколько я понял, в самом Entity FrameWork Core подходящего решения не предусмотрено. Так что как вариант - использовать SQL: (для примера взяты страны)

    public async Task AddCountries()
    {
         List<Country> countries = new List<Country>() {
            new Country() { Alpha2 = "AB", EnName = "Republic Of Abkhazia" },
            new Country() { Alpha2 = "AD", EnName = "Andorra" } };

        string sqlCommand = "INSERT IGNORE INTO `Countries` (`Alpha2`, `EnName`) VALUES";

        for (int i = 0; i < countries.Count; i++)
        {
            sqlCommand += $" (\"{countries[i].Alpha2}\", \"{countries[i].EnName}\")";
            if (i == countries.Count - 1)
            {
                sqlCommand += ";";
            }
            else
            {
                sqlCommand += ",";
            }
        }

        var countOfChangedStrings = await _db.Database.ExecuteSqlRawAsync(sqlCommand);
     }


public class Country
{
    [Key]
    public string Alpha2 { get; set; }
    public string EnName { get; set; }
}

При таком подходе нужно быть аккуратным с SaveChanges() - он не требуется.

UPD: Как верно было подмечено в комментариях, такой подход сработает с MySQL, а вот с другими СУБД - не всегда

1
  • 1
    Кстати, всегда указывайте с какой именно СУБД работаете. Судя по insert ignore - это MySql. Не во всех СУБД есть такая конструкция. Commented 29 апр. 2020 в 16:56
0

Я бы сделал так: перед тем как записать в таблицу проверил бы на уникальность по какому нибудь ид.

.Any(x=>x.Id == entity.Id)

Приблизительно вот так:

private bool CheckIfEntityRecordExists(Entity e)
{
    var retVal = false;
    using (var db = new EntityContext())
    {
        retVal = db.Clients.Count(a => a.Id == e.Id) > 0;
    }
    return retVal;
}
1
  • 2
    В общем случае это не работает. Проверка может выдать, что запись не существует, в этот момент другой пользователь/процесс/поток вставит в БД свою запись, тут мы вставляем запись - упс, Exception - уже дубликат. Commented 29 апр. 2020 в 14:52

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.