Разрабатываем командный проект на Python с использованием Django. Хранение кода и поддержка версионности через gitlab. При push нового кода, идет заливка на сервер. Структура базы данных меняется за счет migrate в Django. Как быть с данными в БД? Например, идут изменения: столбик удалился, залились новые записи, удалились записи (строки). В какой-то момент вылетел Exeption. Структуру можно откатить через все те же migrations, a как откатить изменения данных?? (чтобы вернуть сервер в предыдущее рабочее состояние) Размеры базы десятки терабайт, по этой причине "до изменений сделать резервную копию, и, если слетело, подставить копию" не вариант. Какие есть идеи или отработанные подходы, стандартные сервисы?
2 ответа
В Django есть DataMigration. В них (как и в обычных миграциях) есть функция отката изменений. В джанговской документации она, к сожалению, лишь упоминается:
You can pass a second callable to RunPython to run whatever logic you want executed when migrating backwards. If this callable is omitted, migrating backwards will raise an exception.
То есть есть некоторый второй аргумент, который может откатить ваши изменения назад. Дополним пример из документации:
def combine_names(apps, schema_editor):
# какая-то функция мигрирования вперёд
def combine_names_backwards(apps, schema_editor):
# какая-то функция мигрирования назад
class Migration(migrations.Migration):
initial = True
dependencies = [
('yourappname', '0001_initial'),
]
operations = [
migrations.RunPython(combine_names, combine_names_backwards),
]
Немного справки - по умолчанию там ничего не добавляется, соответственно у вас получается миграция, которая может выполняться только в одну сторону. Если же в обратную сторону не надо ничего выполнять, то следует использовать migrations.RunPython.noop
Так, с этим разобрались, теперь давайте рассмотрим различные ситуации, когда нам это может пригодиться:
- Допустим ваша функция мигрирует данные таким образом, что они могут быть возвращены назад по какому-то алгоритму. Тогда вы пишите backwards datamigration и радуетесь
Данные удаляются
Ну тут ничего не поделать, данные теряются. Есть вариант не удалять эту колонку, а оставить её, при этом изменив её на nullable (чтобы созданные впоследствии объекты на неё не влияли, классическое
blank=True, null=True
).- Удалять, но хранить удалённые данные в json поле. Вижу у вас mysql, поэтому данное решение postgres-only. Не уверен есть ли что-то подобное в mysql
Попробовать сливать удаляемые поля в файл фикстур, потом удалять эти колонки
Внимание Этот метод на личной практике не проверялся, но в теории работать должен
Надо заметить, что стандартная команда dumpdata такого не умеет, но вроде вот это дополнение умеет. Соответственно при откате загружать обратно
-
Не совсем то, что нужно. Это решение предполагает самостоятельное написания\дописование migrations-файлов. Хотелось бы максимально автоматизировать систему + использовать генерируемые системой файлы c помощью "python manage.py makemigrations"– StSan30 июн 2016 в 8:23
-
@StSan это и есть стандартные файлы, генерируемые
manage.py makemigrations --empty yourappname
, но их нуно подпиливать напильником. Мне по работе и стандартных джанговских миграций то порой не хватает, чуть ли не с нуля писать приходится, это тут нормально. Сами джанговцы заявляют, что у них пока хлипенькая система, дорабатываться ещё будет, так что как бы не хотелось, но именно с миграциями это единственный выход– FeroxTL30 июн 2016 в 8:33 -
-
Иначе подходите к проектированию изменений БД. Разносите по времени изменение кода и БД. Сначала меняйте код так, чтобы он работал одновременно на текущей и на новой схемах БД. Протестируйте этот код и выкатывайте в продакшн. Если какие-то ошибки произойдут на этом этапе, просто откатите код. Когда Вы убедитесь, что новый код работает и ошибок нет, выкатывайте новую схему БД.