1

Есть таблица со след. структурой:

id pk ai
email varchar255
fld1 boolean
fld2 boolean

Записей в ней около 10 млн. Вопрос: Как удалить повторяющиеся записи если они имеются?

Мне в голову приходит пока только 1 вариант. Переименовать таблицу, создать таблицу с исходным именем и сделать что-то типа этого:

insert .... (select destinct ... )

Но самому этот вариант как-то не нравится. Чувствую, что можно красивее это сделать. Заранее спасибо. Ответившему 50 очков маны подарю)

2 ответа 2

4

Я бы решал задачу так.

Изначально добавил бы индекс на уникальную комбинацию полей.

В определенный момент времени (м.б. регламентом) смотрел бы на количество дублирующихся значений и количество самих дублей

select sum(cn.cnt) as total_dups, count(cn.cnt) as dup_calue_count from
(select count(*) as cnt
from table_name
group by email,fld1,fld2
having count(*)>1) as cn;

Получал бы idшники записей для удаления (и исключения)

select group_concat(td.todeleteid) as deleteids,group_concat(td.minid) as donotdeleteids from
(select GROUP_CONCAT(todelete.id) as todeleteid, min(todelete.id) as minid
from table_name as todelete
group by todelete.email,todelete.fld1,todelete.fld2
having count(*)>1) td;

А дальше бы удалял

delete from table_name 
where 
id in ('.$deleteids.') and id not in ('.$donotdeleteids.')

Если индексов нет, то тут будет в любом случае не быстро.

3
delete from table_name where (select * from table_name where ...все поля одинаковые, ИД - разные )

Поиск и удаление строк - дубликатов

4
  • а без вложенных запросов не обойтись? записей 10+ млн. всю ночь будет работать 17 мая 2012 в 13:29
  • ну если прикинуть на глаз, что одним запросом надо удалить все, а 2м - найти, что удалить - то могу точно сказать, что без вложенных не обойтись
    – Gorets
    17 мая 2012 в 13:31
  • @Виталий Кустов если вам нужно решить проблему, то и ночи не жалко — не каждую же ночь это делать. Да и в любом языке программирования пришлось бы иметь два цикла и сравнивать значения в обоих.
    – orkaan
    26 июн 2012 в 20:00
  • @Gorets Удаление дубликатов через EXCEPTIONS INTO - интересный метод, кстати говоря, правда узкоспециализированный... 27 июн 2012 в 12:00

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.