0

Профи прошу у вас совета.
Есть задача надо удалит дубли с бд sqlite (может быть SQL подойдет)
но с 1 условием таблица такая:

id  | title     | published            | 
0   | comment 1 | 2017-05-12T18:37:31  | 
1   | comment 2 | 2017-05-13T19:37:31  |
2   | comment 1 | 2017-05-16T12:43:07  |
3   | comment 2 | 2017-05-05T13:46:16Z |
4   | comment 3 | 2017-05-05T16:46:16Z |
5   | comment 1 | 2017-05-05T17:46:16Z |
6   | comment 1 | 2017-05-05T20:46:16Z |

И так задача надо удалить дубли строк, основываясь на колонке title и published
Но по одной уникальной записи каждой строки оставить, что бы по дате она была более поздняя.
Примечание: Не знаю с чем связанно но в базе имеется 2 вида записи даты

2017-05-16T14:43:07  
2017-05-05T15:46:16Z

Думаю это тоже надо учесть.

Итоговый вариант должен быть таким

id  | title     | published            | 
0   | comment 1 | 2017-05-12T18:37:31  | 
1   | comment 2 | 2017-05-13T19:37:31  |
2   | comment 3 | 2017-05-16T12:43:07  |

Предложите два вариант SELECT И DELETE что бы сначала проверил как правильно ли выборка выполняется.

Вот скрин что бы примерно представлять.
P.S. тут еще кучу других полей есть я не знаю нужно ли они для составления запроса если да, то я предоставлю их

введите сюда описание изображения

10
  • Чем определяется уникальность, полем title или title и published? 25 мая 2017 в 17:02
  • Как раз таки там нету уникальности, есть много повторяющихся строк, и надо найти какой-то запрос который смог бы удалить дублирующие строки. есть поле feedID, оно имеет целое число я так понял этот как родитель
    – Andrew
    25 мая 2017 в 17:05
  • Все равно не понял, что вы подразумеваете под уникальностью строк, что будет в вашем случае в group by? 25 мая 2017 в 17:15
  • извините в голове у меня одна абстракция по этой теме, и не получается перевести в саму суть. Пример: Из 10 дублирующих строк, оставить 1-2 с более поздней датой. Какие-то нужно делать сравнение с другими может быть полями. Как я ранее говорил что тут их много я просто не все выложил
    – Andrew
    25 мая 2017 в 17:20
  • Основная задача не просто очистить базу от дублей а оставить по 1 записи каждого дублированного сходства. Не питайте меня за такое изложение мыслей )))
    – Andrew
    25 мая 2017 в 17:22

1 ответ 1

0

Так можно найти дубликаты для удаления:

select * from news s 
  where exists (select 1 from (
         select title, max(published) as published 
            from news 
            group by title having count(*) > 1) dn 
      where s.title = dn.title and s.published < dn.published);

Так удалить:

delete from news
  where exists (select 1 from (
         select title, max(published) as published 
            from news 
            group by title having count(*) > 1) dn 
      where title = dn.title and published < dn.published);

На работоспособность не проверял. И запрос не удалит строки у которых published тоже дублируется, проверьте наличие таких строк запросом:

select title, published from news group by title, published having count(*) > 1;
10
  • а что такое dn? и news s
    – Andrew
    25 мая 2017 в 19:37
  • код который должен удалить вот выдал лог (заняло 10мс, 0 строк изменено) То есть ничего не удалилось Может быть задействовать в запросе поле feedId там целое идет число и является как группа.
    – Andrew
    25 мая 2017 в 19:39
  • dn и s просто alias'ы что бы различать контексты. А select нормально отработал? С датами ещё разобраться надо 25 мая 2017 в 19:43
  • SELECT выборку делает но в ней все равно есть дубли. вот prntscr.com/fc3a2t
    – Andrew
    25 мая 2017 в 19:46
  • и вот prntscr.com/fc3cx7
    – Andrew
    25 мая 2017 в 19:52

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.