0

Мб подскажут знающие люди. Нашел косяк и написал маленькую тестовую прогу. Если она выполняется полностью и завершается сама по истечении sleep, все в порядке: она записала все изменения в БД. Если же после запуска после того как вылетает "End" и прога висит в sleep отключить питание, то после загрузки устройства через тот же DB Browser базу уже не открыть, рядом с файлом бд появляется .sqlite3-journal, которого не было в момент отключения питания, а последнее изменение в бд откатывается. Вопрос собственно: Почему это вообще происходит, если отключение питания происходит после закрытия соединения с БД? Как это в целом можно исправить кроме как костылем?

Читал про rollback journals и нашел что он появляется во время прохождения транзакции, но она же по идее окончена, раз подтвердил изменения и закрыл соединение.

import _sqlite3
from time import sleep

conn = _sqlite3.connect("pathToDatabase")
cursor = conn.cursor()
for i in range(4):
    cell = i + 1
    cursor.execute("UPDATE Test SET FirstColumn = 'None' WHERE Num = ?", [cell])
    cursor.execute("UPDATE Test SET SecondColumn = 'None' WHERE Num = ?", [cell])
    conn.commit()
conn.close()
print("End")
sleep(10)

2 ответа 2

0

Ой интересная ситуация!

Во превых попробуй включить журнал который записывается до базы данных write-ahead logging. Для этого сразу после создания базы данных выполни вот такую настройку (делается в виде обычного запроса, можно через sqlite3.exe):

PRAGMA journal_mode=WAL;

Во вторых прочитай что значит этот самый write-ahead logging.

В третьих все свои группы запросов лучше начинать вот таким вот незатейливым:

BEGIN TRANSACTION;

и обязательно заканчивать вот так:

END TRANSACTION;

Это увеличит выживаемость данных.

Так же обрати внимание, что задача этого журнала с большей доли вероятности обеспечить ЦЕЛОСТНОСТЬ базы данных, а не убедиться, что все данные которые ты послал в базу записаны. Когда все данные из оперативной памяти записывать в конкретный файл оооочень сильно зависит от решений операционной системы. И к сожалению если загасить корректно процесс работающий с базой данных, то это ещё, как правило, не значит, что все данные уже хранятся на жестком диске. ОС может сделать синхронизацию в течении нескольких секунд после этого, а WAL журналы позволяют лучше контролировать атомарность производимых операций, что будет давать рабочую базу после аппаратных сбоев и отключений электричества чаще чем без этого журнала, а вот будут ли в базе последние данные - это вопрос открытый.

В случае если СУБД в твоем случае sqlite просчитала все необходимые изменения которые влекут твои запросы, то она первым делом запишет все эти изменения в том виде в котором просчитала в WAL журнал, дождется когда ОС, всё запишет на жесткий диск, а потом приступит к изменению самого файла базы данных. И вот если в этот момент рубануть свет, то при загрузки этой БД следующий раз СУБД увидит, что в журнале нет отметки о переносе изменений в файл базы данных и ОТКАТИТ ЖУРНАЛ к последнему консистентному состоянию, то есть после перезагрузки компьютера СУБД незаконченные транзакции имеющиеся в журнале вносить в базу данных не будет, а будет их откатывать!

3
  • Спасибо за развернутый ответ, покопаюсь в этом Сейчас только подумал, что вчера вечером затупил и не добавил еще вводных На основе висит еще простой веб-сервер, на нем выводится БД. И вот самое интересное, что после транзакции данные на серваке обновляются, т.е. видимо запись происходит, потом гасится питание(секунды 3-5 проходит с изменения бд и отключения питания) и изменение откатывается(на том же сервере видно после перезагрузки). Думал это они с серваком конфликтуют, но написал этот тест и убедился что нет.
    – HappTix
    24 ноя 2020 в 7:34
  • Извиняюсь, потерял нить беседы. О каком тесте идет речь? И как у вас все-таки устроена связка между серверами: то есть от куда куда текут данные, где они записываются, где проверяете, и где эмулируете аварию со светом? Может если пойму суть обновленной ситуации, то смогу дать ещё один развернутый ответ :)) Даешь больше развернутых ответов!!! (с) стаковерфлоу 24 ноя 2020 в 14:32
  • Ну, у меня есть orange pi pc, на нем висит две программы. Первая это по сути камера хранения. Она работает с маленькой локальной БД, в которой просто записывается статус ячейки и кто занял. Вторая прога, это простенький локальный сервер на котором эта БД просто открывается и отображается. В процессе негативного тестирования с отключением питания нашли такую ошибку. Т.е. что происходит, человек приходит, кладет вещи, на сервере показывается что занял такую-то ячейку, отрубается питание, при перезапуске статус ячейки в БД откатывается. Думал что проблемы в конфликте проги с сервером, но нет
    – HappTix
    25 ноя 2020 в 6:44
0

Изменения откатываются именно из-за работы rollback journal и по идее совет Сабира -- переключение на WAL режим -- должны помочь. Только стоит уточнить по поводу работы WAL. Из документации SQLite следует, что этот режим предназначен именно для "докатки" изменений, если во время изменения файла БД произошел сбой (например, по питанию, или какая-то проблема с носителем данных). Но по умолчанию в SQLite включено журналирование в режиме rollback journal, то есть отката, что вы и наблюдаете при тестировании с целенаправленными сбоями.

В режиме WAL поведение при сбое должно соответствовать вашим ожиданиям -- после Commit изменения остаются и при восстановлении после сбоя они присутствуют.

Также обратите внимание, что не стОит ожидать надежности при совместной нескольких клиентов с базой SQLite, находящейся на сетевом диске.

Ссылки на документацию -- https://www.sqlite.org/wal.html, https://sqlite.org/pragma.html#pragma_journal_mode https://www.sqlite.org/lockingv3.html#rollback

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.