1

Имеется старая база данных, создали новую базу данных и через микросервис мобильное приложение которое работает часто в режиме оффлайн и в момент сети синхронизируются данные с новой базой данных и потом новая синхронизирует со старой. Делается это все для того, что бы скопировать в течении определенного времени данные которые клиент использует и впоследствии просто удалить старую базу данных, не спрашивайте а почему сразу не иммигрировать, там все очень сложно, базе больше двадцати лет, много разных клиентов сидят на ней.

И вот замеченно, что если приложение которое работает со старой базой отключенно или bug в сети, вообщем если два api не договорили на заднем фоне, то данные просто сохраняются в новой базе и старая потом об этом ничего не узнает, а мобильное приложение отправляет мессаж что мол данные синхронизированны успешно, только вот потом не состыковка с данными случается.

Таким образом мне думается, что необходимо следующее, создать таблицу в новой базе данных с объектами, которые не удалось синхронизировать потом метод в сервисе дополнительный чтобы получать ответ от api 1 и уже при повторном подключении запускать заново объекты для обновления в данной таблице до синхронизации с мобильным приложением.

Вопрос : какие данные должна содержать данная таблица ? И есть ли другие решения

        [Key]
        public long Id { get; set; }

        public long? ObjectId { get; set; }

        [ForeignKey(nameof(ObjectId))]
        public Object Object { get; set; }

        public DateTime Date { get; set; } 

        // for example if error < 2, check properties, maybe some information is not correct in that object
        public int ErrorSynchronization { get; set; } 

в старой базе данных бывают "сюрпризы" например однажды приложение выдавало ошибку при сохранении одного эллемента и я заметила, что в базе данных есть ограничения для одного из свойст (varchar 5) а клиент сохраняет например 8 символов, это не было нигде зафиксированно, как уже повторюсь база старая и не мало кто на ней работал...поэтому предусматриваю int ErrorSynchronization, например если первый, второй раз все еще остается не синхронизированным и число int думаю надо +1 возможно надо проанализировать все свойства данного объекта

// api 2 создает таблицы через Entity Framework, работаю я на C#, база на sql => поэтому и метки соответствующие

p.s. вопрос, а тот кто ставит минус это обосновывается, или может быть просто хоп и минус поставил, сама не ставила еще минусы поэтому интересуюсь

10
  • Чисто из любопытства: "стол" это юмор или трудности перевода?
    – V-Mor
    27 авг 2020 в 7:56
  • Вы бы сказали какие данные должна содержать "таблица" верно ?
    – Dev18
    27 авг 2020 в 7:59
  • 2
    Именно так, верно
    – V-Mor
    27 авг 2020 в 8:00
  • я и правда общаюсь на многих языках, и порой возможно трактовка тех или иных терминов отличается, я молодой программист и многие термины узнаю не на русском, так как обучение было тоже не всегда на русском.
    – Dev18
    27 авг 2020 в 8:01
  • Ну, если просто вбить в переводчик, то да. Table – и стол и таблица. Но база данных всё-таки содержит именно таблицы. Здесь суть даже не в переводе, а в логической организации данных. Они организованы именно по табличному принципу в реляционных БД.
    – V-Mor
    27 авг 2020 в 8:03

2 ответа 2

2

Можно создать таблицу в новой базе данных с задачами на синхронизацию.

И отдельный синхронизатор, который берет задачи по очереди из новой базы, применяет к старой базе, и хранит номер последней примененной задачи в старой базе.

Изменения и номер последней примененной задачи запишутся в одной транзакции.

4
  • а таблица которую я составила подходит или нужно что-то добавить ? ...с задачами, что именно значит отдельный синхронизатор создан и в нем я думаю как Вы верно подметили нужно events который при подключении первогоАпи будет искать данные из таблицы новБД, только хотелось бы вернуться к фразе таблица с задачами, что подразумевает
    – Dev18
    28 авг 2020 в 9:43
  • Я пока только бьюсь как рыба об лед, но пытаюсь разобраться, благодарю за ваше внимание и ответ🙏
    – Dev18
    28 авг 2020 в 9:59
  • При операции в апи2 просто пишем в таблицу заданий, что нужно сделать с апи1. Не зависим от состояния апи1. Если идет 2 апдейта одной записи в главной таблице, то записей-заданий при этом 2. Похоже на redo-log. Отдельный исполнитель смотрит номер последней примененной задачи, берет следующую задачу, применяет задачу и меняет номер. 28 авг 2020 в 10:18
  • 1
0

после миграции базы данных, мы создали нашу временную таблицу в которой хранятся объекты для повторной синхронизации. (выше в моем вопросе есть пример того, что хранится в данной таблице)

в момент когда мы сохраняем объекты как обычно, если вдруг api1 не ответило, мы сохраняем объекты в данной временной таблице, затем

ДЛЯ ПОВТОРНОЙ ПОПЫТКИ ЗАПИСИ в АПИ1

создаем дополнительный HookController

[HttpGet]
public async Task<ActionResult> RunSynchronizations()
{
    await synchronizationService.SendUnsynchronizedObjectsAsync().ConfigureAwait(false);
    return Ok();
}

а в нашем api1 в Startup (чтобы как только приложение стало активно) классе зовем данный контроллер (общаются два апи через Refit...) и таким образом как только api1 запускается, api2 просматривает нашу временную таблицу с объектами, которые не были синхронизированны. и повторяет процедуру CRUD (записывает, удаляет, изменяет...)

public Task SendUnsynchronizedObjectsAsync()
{
    return Task.Run(() =>
    {
        var dbSet = dbContext.Set<ObjectsoSendToApi1>(); // наша временная таблица

        var objetctsToSynchronize = dbSet.Include(s => s.Object).ToList(); 
        // include чтобы добавить основной объект

        Task[] toAwait = new Task[objetctsToSynchronize.Count];

        // берем все объекты из временной таблицы
        for (var i = 0; i < objetctsToSynchronize.Count; i++)
        {
            toAwait[i] = SendToApi1ForSaveAsync(objetctsToSynchronize[i].Object);
            /* метод SendToApi1ForSaveAsync повторно сохраняет...
            и catch если повторно api1 не отвечает и так по кругу... */
        }

        // и удаляем объекты из временной таблицы
        dbSet.RemoveRange(objetctsToSynchronize); 
        
        Task.WaitAll(toAwait); 

        dbContext.SaveChanges(); // сохраняем изменения
    });
}
9
  • 1
    1) Set -- порядок изменений у вас не важен (consraints)? 2) SaveChanges бы после WaitAll, а то потеряете 3 сен 2020 в 15:42
  • 3) если обычный апи2 и хук сработают вперемешку -- в старой базе будет не последняя версия 3 сен 2020 в 15:47
  • на счет SaveChanges исправила, спасибо, не совсем поняла consraints, наверно не наткнулась еще, если не сложно поясните.
    – Dev18
    4 сен 2020 в 7:05
  • третий пункт: мне надо подумать, но мы помним что мобильное приложение работает оффлайн и данные синхронизируют переодически а не асинхронно, и вот позволю себе поразмыслить, если пользователь например отправил объект и сбой и как Вы говорите они паралельно работают, но это же тот же save(SendToApi1ForSaveAsync) и он берет последние изменения, разве не так?
    – Dev18
    4 сен 2020 в 7:15
  • 1
    Вам нужно синхронизировать не просто объекты, а упорядоченные изменения этих объектов -- как минимум плюс одно поле updateId, которое primary key; и пишите все изменения через таблицу изменений, а не только неудачные. 4 сен 2020 в 7:25

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.