9

Есть такая табличка статусов слонов, то есть у слона может быть несколько статусов его местонахождения.

status:
id int auto_increment pk
slon_id int
status varchar
date datetime

При программном баге (точнее недоработке) появились дубликаты записей вида

1 1 Розовый слон в Африке 18.11.2016...
2 1 Розовый слон в Африке 18.11.2016...
3 1 розовый слон уже в Зимбабве 19.11.2016...
4 2 Зеленый слон в Европе 15.11.2016...

Интересует SQL решение. Можно ли как-то удалить дубликаты записей? Можно ли удалить дубликаты записей оставив по одному чтобы не потерять историю? (То есть если про Африку и Розового слона несколько записей - удалить все кроме одной).

1
  • дубликаты по статусу и идентификатору слона, в данном случае это строки 1 и 2. 23 ноя 2016 в 19:37

3 ответа 3

9

Алгоритм действий:

  1. понять, по каким критериям надо считать записи идентичными
  2. написать запрос на поиск дублирующихся наборов данных (можно не строк, только наборов данных)
  3. понять, как решить, какую из записей надо оставить
  4. соответственно откорректировать запрос, чтобы он выводил все дублирующиеся записи, кроме той, которую надо оставить
  5. написать запрос delete where id in (subquery).

В итоге получается что-то вроде такого, если считать uniqfield полем, которое должно стать уникальным, оставлять строку с минимальным id:

delete from tablename where id in (
    select id from (
        select id from tablename join (
             select min(id) as firstdup, uniqfield
             from tablename
             group by uniqfield
        ) duplicates using(uniqfield)
        where id != firstdup
    ) subqueryhack
)

Для комбинации из двух полей, чтобы было видно, что меняется

delete from tablename where id in (
    select id from (
        select id from tablename join (
             select min(id) as firstdup, uniqfield1, uniqfield2
             from tablename
             group by uniqfield1, uniqfield2
        ) duplicates using(uniqfield1, uniqfield2)
        where id != firstdup
    ) subqueryhack
)

delete в mysql не даст напрямую удалять из той таблицы, которую читает подзапрос, но это обходится при необходимости ещё одним подзапросом.

Если неважно, какие именно строки оставлять, а какие удалять и позволяет версия СУБД - то до mysql 5.7.4 можно было просто повесить уникальный индекс с указанием ignore

ALTER IGNORE TABLE mytable ADD UNIQUE INDEX myindex (A, B, C, D);

Что удалит все дубли по этим полям, кроме какой-то одной строки. В актуальных версиях ignore поведение удалено и вызывает ошибку. Не вникал, почему удалили, скорей всего из-за неочевидного поведения, какая именно строка будет удалена и общего курса возвращения к SQL-стандарту.

5
  • спасибо, на тестовой таблице все работает, но так и не смог применить на практике (как уже понял позже), так как разные слоны могут находиться в одном месте одновременно, а имени слона нет в статусе, то есть статус слон в Африке 18.11.2016 может быть у разных. 24 ноя 2016 в 8:50
  • Так id слона же есть? Считать уникальных по сочетанию полей. 24 ноя 2016 в 9:17
  • есть id слона, я еще пока не осилил запросы подобного рода. Делать это в селекте и условии where? 24 ноя 2016 в 9:21
  • селект, группировка и затем условие объединения using. Вот и всё различие, дописал пример запроса с поиском дубликатов по паре полей 24 ноя 2016 в 9:25
  • супер, все работает. Сенкс. 24 ноя 2016 в 9:33
3

Должен работать этот вариант. TESTTEST нужно заменить на своё имя таблицы. Данный запрос будет оставлять одну запись для каждого slon_id с максимальной датой.

DELETE FROM TESTTEST WHERE id NOT IN (
    SELECT MAX(id)
    FROM (
        SELECT t.slon_id, MAX(t.[date]) AS [date] 
        FROM TESTTEST t GROUP BY t.slon_id) t
    JOIN TESTTEST t2 ON t.slon_id = t2.slon_id AND t.[date] = t2.[date] 
    GROUP BY t2.id
)
4
  • пардоньте, не пашет в отличие от ответа другого человека. 24 ноя 2016 в 8:47
  • Какую ошибку пишет?
    – progmb
    24 ноя 2016 в 8:50
  • ошибки нет, просто находит не дубликат, а просто максимальный ID из таблицы. 24 ноя 2016 в 8:51
  • Да, не так понял немного задачу. Он удаляет все записи для данного слона, кроме записи с максимальной датой и максимальным id. Максимальный id выбирается для того, т.к. на одну дату может быть несколько записей у одного и того же слона.
    – progmb
    24 ноя 2016 в 8:55
0

Вот так удалит все дубликаты по полю val и оставит один со старшим id

DELETE tab 
FROM tab
INNER JOIN (
    SELECT max(id) as lastId, val
    FROM tab
    GROUP BY val
    HAVING count(*) > 1) dup on dup.val = tab.val
WHERE tab.id < dup.lastId;
1
  • некропостинг... 6 апр 2021 в 22:14

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.