1

Есть таблица для справочника

Таблица БД - words

word    | description 
--------+-----------------------------------------------------------------------------
кот     | Самец кошки
кот     | Самец кошки семейства кошачьих отряда хищных
кот     | Домашнее животное является одним из подвидов дикой кошки 
бегемот | Крупное парнокопытное млекопитающее
бегемот | Крупное парнокопытное млекопитающее с массивным туловищем и короткими ногами

Нужно для каждого термина из справичника удалить все частичные дублирования определений, оставив только самые полные неповторяющиеся

Ожидаемый результат после выполнения запроса

word    | description 
--------+-----------------------------------------------------------------------------
кот     | Самец кошки семейства кошачьих отряда хищных
кот     | Домашнее животное является одним из подвидов дикой кошки 
бегемот | Крупное парнокопытное млекопитающее с массивным туловищем и короткими ногами

P.S. - просьба учесть

1) определения могут быть также и длинными, тысяча знаков и даже более

2) количество записей в таблице — несколько сотен тысяч

Пробую так:

select word, distinct(description) from words

Что я делаю не так и как написать правильный запрос?

7
  • да, пока берем без отличий по буквам 10 фев 2017 в 10:04
  • В таблице есть какой нибудь уникальный ключ ? Потому что сейчас что бы не выбрать записи из за того что они равны сами себе надо сравнивать description на неравенство. Но в этом случае не будут найдены полные дубли. А если как то и придумать как выбрать еще и полные дубли удалить их будет крайне затруднительно
    – Mike
    10 фев 2017 в 10:15
  • @Mike Ключей нет и добавлять не будем, только два столбца word и description 10 фев 2017 в 10:19
  • Ладно. А могут ли быть все таки ситуации полного совпадения слова и описания. т.е. если запись "кот=Самец кошки" встретится более одного раза ?
    – Mike
    10 фев 2017 в 10:21
  • И кстати все таки, надо получить более длинные названия или выполнить именно delete, который удалит лишние записи
    – Mike
    10 фев 2017 в 10:22

2 ответа 2

2
select distinct A.*
  from words A
  left join words B
    on B.description like concat('%',A.description,'%')
   and A.word=B.word
   and A.description!=B.description
 where B.word is null

distinct нужен на случай если в таблице присутствуют полные дубли. Но он может замедлять работу запроса, если дублей заведомо нет - то его можно убрать. Так же очень приветствуется наличие в таблице первичного ключа, тогда в условии соединения таблиц можно проверять на неравенство этого первичного ключа, что надежнее проверки на неравенство description и помогло бы найти полные дубли.

Кроме того в этом запросе проверяется вхождение строки даже в середину другой строки, а не только в начало. Если нужно проверять только начало строки - убрать из concat() первый %

left join пытается найти для каждой записи A такие записи B где было бы вхождение подстроки (like '%строка%'). Т.е. он найдет записи для которых существует более длинное описание. Условие where B.word is null оставляет в выборке только те записи, для которых left join ничего не нашел.

5
  • Супер! Спасибо большое! Если Вам не будет сложно, дополните пожалуйста запрос комментариями, хочу разобраться и понять как это работает 10 фев 2017 в 10:54
  • @holdmeseven Написал. надеюсь, понятно сформулировал
    – Mike
    10 фев 2017 в 10:54
  • $Mike постараюсь завтра разобраться с каждой строчкой, с Вашего позволения, если у меня возникнут вопросы я напишу. Еще раз Спасибо! 10 фев 2017 в 10:58
  • 1
    @holdmeseven Да, именно с каждой строчкой, запроса. поэспериментируйте (на кошках :) ), сделайте просто * а не только A.*, уберите where посмотрите что получилось
    – Mike
    10 фев 2017 в 11:00
  • $Mike Все приму к сведению! Буду тренироваться на кошках!)) 10 фев 2017 в 11:05
0

Запрос

SELECT t1.*
FROM table t1, table t2
WHERE t2.description LIKE CONCAT(t1.description, '%')

даст все КОРОТКИЕ описания. Остаётся их удалить...

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.