18

Есть таблица с дубликатами в MySQL: (по полю name)

id |  name | surname
--------------------
1  | niko  | surname
2  | niko  | surname
3  | jane  | surname
4  | jane  | surname
5  | ivan  | surname

Необходимо получить таблицу такого вида

id |  name | surname
--------------------
1  | niko  | surname
3  | jane  | surname
5  | ivan  | surname
1
  • посмотри оператор DISTINCT
    – koza4ok
    15 фев 2013 в 17:38

10 ответов 10

16

Запрос для результирующей таблицы:

SELECT min(id), name, surname
FROM `table`
GROUP BY name, surname

Для удаления дубликатов подойдет такой прием:

CREATE TEMPORARY TABLE `t_temp` 
as  (
   SELECT min(id) as id
   FROM `table`
   GROUP BY name, surname
);

DELETE from `table`
WHERE `table`.id not in (
   SELECT id FROM t_temp
);

Есть конечно нюансы...

4
  • 1
    лучше скопировать полностью, удалить исходную таблицу и переименовать результирующую, но тоже есть нюансы :)
    – zb'
    15 фев 2013 в 18:53
  • @eicto если доступность базы критична, то будет не лучше. в остальном разница будет несущественна. 15 фев 2013 в 19:14
  • @YuraIvanov не лучше получить сразу значение и передать на удаление? копирование будет время занимать ` SELECT name, surname FROM table group by name, surname HAVING (count(CONCAT(name, surname)) > 1); ` 25 июл 2016 в 11:35
  • @SeniorAutomator нельзя производить удаление в таблице, одновременно выбирая из нее значения. Особенности mysql. Эту особенность можно обойти вложенным запросом (как это сделали некоторые другие отвечающие), однако это будет эквивалентно созданию временной таблицы, т.е. то же самое что и в ответе. 25 июл 2016 в 12:38
5

Какие-то экзотические варианты предлагаются.

http://sqlinfo.ru/articles/info/19.html

Удалить из таблицы дубликаты (строки с одинаковыми значениями поля col) с меньшим id

DELETE t1 FROM t t1 LEFT JOIN t t2 ON t1.col = t2.col AND t1.id < t2.id WHERE t2.id IS NOT NULL;

через подзапрос

DELETE t FROM t LEFT JOIN (SELECT max(id) as id, col FROM t GROUP BY col) t1 USING(id) WHERE t1.id IS NULL;

Кстати, в указанной статье описан и обход ограничения подзапросов на одновременную выборку и изменение данных.

3

здесь предлагают делать так:

ALTER IGNORE TABLE foobar ADD UNIQUE (name, surname)

но индекс должен влезть в память.

ну и через временную таблицу естественно есть способ. а так-же через group by.

2

Я бы предложил пересоздать полностью таблицу, установив нужные уникальные столбцы. И отправив в ignore те данные, которые будут дублироваться. Это будет гораздо быстрее, если у вас в таблице очень много данных.

Но если вы хотите сделать это запросом, то это будет медленнее, но тоже возможно. На всякий случай, сначала проверьте, что этот запрос выводит только дублирующие строки, а потом замените SELECT * на DELETE tablename

SELECT * 
FROM   tablename 
       INNER JOIN (SELECT Min(id) minid, 
                          name, 
                          surname 
                   FROM   tablename 
                   GROUP  BY name, 
                             surname 
                   HAVING Count(1) > 1) AS duplicatesTable 
               ON ( duplicatesTable.name = tablename.name 
                    AND duplicatesTable.surname = tablename.surname 
                    AND duplicatesTable.minid <> tablename.id )
2

Первый вариант

DELETE FROM table
WHERE id NOT IN (SELECT max(id) FROM table GROUP BY name HAVING count(id)>1)

Второй вариант с помощью Exists

DELETE FROM table t1
WHERE EXISTS (SELECT 1 FROM table t2 WHERE t2.id<t1.id and t1.name=t2.name)
1
  • По-моему вариант с Exists самый изящный и эффективный из всех здесь предложенных 10 июл 2019 в 14:03
1

По идее как то так можно:

delete from table where id in (select max(id) from table group by name having count(id)>1)

А потом сразу создать уникальный индекс по полю чтобы потом этого сделать было не возможно.

3
  • 3
    нельзя делать удаление и делать вложенный запрос одновременно по одной и той же таблице. 16 фев 2013 в 15:55
  • печаааль. Но Вы правы.
    – Чад
    16 фев 2013 в 16:18
  • Можно, например, вложенным подзапросом, но в данном случае идея неверна, так как удалит только один дубликат.
    – retvizan
    10 апр 2015 в 12:59
1
DELETE
FROM form
WHERE id NOT IN
    (SELECT id
     FROM
       (SELECT max(id) AS id -- какой из дублей нужно оставить

        FROM form
        GROUP BY description_complaints,
                 id_stat,
                 number_phone
        HAVING count(id) > 1
        UNION SELECT id AS id -- не дубли

        FROM form
        GROUP BY description_complaints,
                 id_stat,
                 number_phone
        HAVING count(id) = 1 ) AS dubl )
1

Еще один способ через конструкцию Insert ... Select

Сначала создадим новую таблицу с ключем unique, чтобы в будущем запретить вставку дубликатов.

CREATE TABLE new_table (
  name varchar(255) NOT NULL,
  surname varchar(255) NOT NULL,
  UNIQUE KEY name_surname (name,surname)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Затем заполним созданную таблицу данными из исходной таблицы

INSERT INTO new_table (new_table.name, new_table.surname) SELECT old_table.name, old_table.surname
FROM old_table
GROUP BY old_table.name, old_table.surname
HAVING COUNT(old_table.id)<2; --выбираем записи которые НЕ дублируются

INSERT INTO new_table (new_table.name, new_table.surname) SELECT old_table.name, old_table.surname
FROM old_table
GROUP BY old_table.name, old_table.surname
HAVING COUNT(old_table.id)>1; --выбираем записи которые дублируются

В мое случае в таблице содержалось ~260 тыс. записей, из них 2 тыс. дублировались.

0
delete from t1 a where id in
(select max(id) from t1  where name in
(select name from t1  
group by name 
having count(name )>1) and name =a.name );

Думаю, так проще всего будет.

1
  • 1
    Постарайтесь писать более развернутые ответы. Поясните, на чем основано ваше утверждение? 10 фев 2016 в 14:04
-2

Я, вероятно, извращенец, так как работал с MS Access) решал задачку на вакансию junior sql programmer на авито.. Может, кому пригодится мое решение аналогичной проблемы:

 delete * from cities
 where city_id not in
 (select min(city_id) from cities group by city_name having count(*) > 1) 
 and city_id not in  
 (select min(city_id) from cities group by  city_name  having count(*) = 1)
1
  • 1
    Для улучшения ответа добавте пожалуйста тестовые данные и запросом проверте результат удаления.
    – 0xdb
    20 ноя 2016 в 23:29

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.