1

В базе данных проекта появились записи, которые дублируются и по этой причине отображаются не там, где должны. Проблема с их дублированием решена, но сами поля остались в базе данных. Фрагмент схема базы данных, с которой происходят манипуляции прилагаю. Схема фрагмента базы данных

В базе данных дублировались индикаторы, а для каждого отчёта в соответствии с каждым индикатором генерировались мониторинговые результаты, а к ним методы мониторинговых результатов. Чтобы удалить все записи соответствующие "лишним" индикаторам был сделан вот такой запрос:

DELETE indicator, monitoring_result, monitoring_results_methods 
FROM indicator 
LEFT JOIN monitoring_result ON monitoring_result.indicator_id = indicator.id 
LEFT JOIN monitoring_results_methods ON monitoring_results_methods.result_id = monitoring_result.id 
WHERE indicator.id = 5000;

Выполнить его невозможно, без выключения проверки ключей, иначе выдает ошибку

#1451 - Cannot delete or update a parent row: a foreign key constraint fails (dev.monitoring_results_methods, CONSTRAINT FK_462798667A7B643 FOREIGN KEY (result_id) REFERENCES monitoring_result (id))

Все это дело предстоит выполнить на базе данных продакшен сервера весом в 120ГБ, приложением пользуются люди.

Может быть кто-то знает более оптимальный и самое главное безопасный способ удалить все соответствия значению индикатора в таблицах monitoring_result и monitoring_results_methods и как при этом обезопасить себя, обеспечив работоспособность базы данных.

18
  • Удалять это против SOLID, а конкретнее против Open Closed. Если можно жить и так то живите спокойно с лишними записями это не страшно. 30 июл 2020 в 7:47
  • к сожалению оставить так как есть невозможно, потому что это мешает работать людям и бросается в глаза руководству.
    – navasiolau
    30 июл 2020 в 7:48
  • Ну тогда готовьтесь к временному отключению сервера и плановым техническим работам на прод сервере. Готовьте людей к такому я имею ввиду. Про100 советовать на живую такое делать не зная самого приложения не стоит и вовсе. 30 июл 2020 в 7:50
  • Делайте максимально безопасно. Отключайте всех и вся и проводите мероприятие, иначе риски кто будет нести. Советник из stackoverflow? 30 июл 2020 в 7:54
  • в базе данных проекта появились записи, которые дублируются и по этой причине отображаются не там, где должны. Проблема с их дублированием решена, но сами поля остались в базе данных. Не путайте записи и поля (и значения отдельных полей отдельных записей), да...
    – Akina
    30 июл 2020 в 7:55

1 ответ 1

1

У вопроса есть две стороны: техническая и организационная.

Техническая сторона

Почему вообще возникает эта ошибка? На записи в indicator ссылаются записи из monitoring_result и поэтому удалить из indicator без удаления из monitoring_result (и по цепочке из monitoring_result_method) нельзя.

То что делается удаление из всех таблиц сразу не помогает так как:

If you use a multiple-table DELETE statement involving InnoDB tables for which there are foreign key constraints, the MySQL optimizer might process tables in an order that differs from that of their parent/child relationship. In this case, the statement fails and rolls back. Instead, you should delete from a single table and rely on the ON DELETE capabilities that InnoDB provides to cause the other tables to be modified accordingly.

Т.е. самое правильное решение было бы включить для внешних ключей опцию ON DELETE CASCADE. Я быстро не наше насколько быстро изменение этой опции работает и какие в процессе накладываются локи, т.е. не ясно можно ли это делать без отключения клиентов.

Обходной путь с отключением ограничения внешнего ключа для того чтобы удалить в этом случае - это возможный вариант, но неясно как долго это будет работать и опять же безопасно это можно делать только отключив клиентов.

Конечно, можно протестировать производительность этих двух опций на копии БД и если время отключения будет приемлемым - то использовать их.

Самый же безопасный способ в этом случае будет удалить и индикатор и зависимые от него записи в monitoring_result и monitoring_result_method отдельными запросами в правильном порядке. Решение "в лоб" это удаление всего в одной транзакции (не делайте этого в проде не дочитав до конца!):

START TRANSACTION;

DELETE FROM monitoring_results_methods m
WHERE result_id in (
   SELECT id FROM monitoring_result
   WHERE indicator_id = 5000
);  

DELETE FROM monitoring_result
WHERE indicator_id = 5000;

DELETE 
FROM indicator 
WHERE indicator.id = 5000;

COMMIT;

И так нужно сделать для каждого индикатора.

Если эти записей для одного индикатора около 1000, то эта операция не должна занять много времени и ее можно делать без отключения клиентов, но все же лучше не в "горячие" часы. Возможно, нужно будет делать паузы между обработкой каждого конкретного индикатора.

Организационная сторона

Самое главное: с вашей стороны, т.е. со стороны разработчика, нужно показать руководству возможные опции, их трудоемкость и связанные с ними риски. А уж руководству принимать информированное решение, сколько они готовы ресурсов потратить и какой уровень риска приемлем.

Первое, у вас уже должна быть протестированная процедура создания и восстановления из резервной копии. Это ваш запасной план, не случай, если что-то пойдет совсем не так. Если процедуры нет - то у вас уже большие проблемы. Без процедуры - риски напрямую коррелируют со сложностью процедуры миграции и степенью ее тестирования.

Далее, любую такую процедуру имеет смысл делать не деструктивной в том смысле, что нужно иметь возможность ее результаты отменить. И важно саму процедуру и возможность отмены протестировать.

Что в данном случаи я имею ввиду, когда говорю отменить? Это значит, что все данные которые процедура удаляет, она должна сохранить в резервную таблицу, которая поживет какое-то время, пока мы не убедимся, что все действительно в порядке и эти данные не нужно восстанавливать.

Самый лучший способ в данном случае - это создать таблицы с копией всех таблиц, из которых будет делаться удаление. Чем проще эта процедура - тем лучше. Что-то типа CREATE TABLE indicator_backup AS SELECT * from indicator и так для всех таблиц. Однако, тут вопрос в производительности. Если таблицы большие, то нужно будет много времени и места, плюс это может повлиять на работу с сервером пользователей.

Поэтому более реалистичным видится выборочное копирование. Т.е. для каждой операции:

DELETE FROM some_table WHERE condition

нужно сначала сделать

INSERT INTO TABLE some_table_backup 
SELECT *
FROM some_table
WHERE condition

а уже после этого удалять.

Предварительно эти backup таблицы нужно создать:

CREATE TABLE some_table_backup AS SELECT * FROM some_table LIMIT 0;

Если делаем это на рабочей системе, то не забываем, что копирование и удаление нужно делать в одной транзакции с уровнем изоляции REPEATABLE READ (по умолчанию такой и есть). Предыдущее замечание про транзакцию не такое актуальное, если вы точно знаете, что система не модифицирует данные, которые вы удаляете, т.е. индикаторы и зависимые данные.

И важно. Все это нужно протестировать! Включая то, что резервные данные создались. Также нужно подготовить команды для обратной вставки данных из backup таблиц в основные, если что-то пойдет не так и придется восстанавливать данные.

Тестировать производительность идеально нужно на копии даных с прода, но если нет, то хотя бы на приближенном количестве данных. Опять же, если тестировали на копии, то риски меньше.

Дополнительно, можно рассмотреть вариант делать миграцию с отключением системы (это не отменяет того, что написано выше о не деструктивности миграции). У этого есть как свои плюсы так и минусы. Нет такого прессинга, если что-то не так больше времени на исправление.

2
  • 1
    Огромное спасибо за такой развернутый и понятный ответ! В ближайшее время протестирую предложенные варианты.
    – navasiolau
    30 июл 2020 в 14:19
  • 1
    Спасибо большое, проблема решилась и ничего не было сломано по итогу. Отличное решение!
    – navasiolau
    3 авг 2020 в 20:32

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.