2

Здравствуйте.

Есть таблица persons.

Структура:

 - number - INT (первичный)
 - fio - TEXT
 - phone - TEXT
 - phone_2 - TEXT
 - active - INT

Нужно для всех не пустых полей phone_2 проверить наличие дубликатов с таким же полем fio и active равным 1. Если их нет, то вывести number.

В бд больше 120.000 записей.

Делаю так:

SELECT number FROM (SELECT * FROM persons WHERE phone_2 != "") AS a WHERE NOT EXISTS (SELECT * FROM (SELECT * FROM persons WHERE active = 1) AS b WHERE a.fio = b.fio)

Запрос работает 5 часов!!

UPD:

2 вариант:

SELECT number FROM persons AS a WHERE phone_2 != "" AND NOT EXISTS (SELECT * FROM persons AS b WHERE active = 1 AND a.fio = b.fio)

Какой вариант отработает быстрее?

6
  • Напишите структуру полностью (включая типы полей, индексы, pk). Без этого сложно будет оптимизировать.
    – etki
    1 апр 2014 в 10:03
  • добавил. так такое время выполнение нормально или как говорится засмеют за такой запрос ?) количество подзапросов нормальное?
    – progmb
    1 апр 2014 в 10:08
  • 1
    > количество подзапросов нормальное? количество подзапросов совершенно ненормальное >Нужно для всех не пустых полей phone_2 проверить наличие дубликатов с таким же полем fio и active равным 1. Если их нет, то вывести number а если они есть, то что вывести?
    – DreamChild
    1 апр 2014 в 10:08
  • Так если есть, то они не выведутся, так как NOT EXISTS вернёт TRUE только в том случае, если не будет совпадений.
    – progmb
    1 апр 2014 в 10:22
  • 2
    @temagr вы пожалуйста подробно и обстоятельно опишите, что вы хотите получить. Пока это далеко не очевидно. Но есть ощущение, что вы можете значительно упростить свой запрос, используя GROUP BY и агрегатные функции, без всей этой порнографии в виде кучи вложенных запросов
    – DreamChild
    1 апр 2014 в 10:26

2 ответа 2

4

Ваша таблица страдает дурной спроектированностью. В ней налицо нарушения нормализации. В частности, хранение ФИО в одном столбце - это нарушение первой нормальной формы. По-хорошему следует разбить ФИО на атомарные сущности - Фамилию, Имя и Отчество. Судя по вашим словам "проверить наличие дубликатов с таким же полем fio" у вас то ли возможна ситуация, когда одному человеку соответствкут несколько записей (несмотря на наличие первичного ключа number) то ли вы хотите идентифицировать человека не по первичному ключу, а по фио, что само по себе плохо и неправильно. Впрочем, для данного случая это не столь важно.

Вторым проблемным местом является наличие номеров телефонов в таблице persons, а точнее ситуация, когда у одного человека может быть как один телефон, так и два (а теоретически - три, четыре и даже одиннадцать, что в вашей структуре отобразить невозможно). Так вот, по-хорошему следовало бы создать таблицу Phones, в которой должны храниться три поля - ключ, PersonId - внешний ключ на таблицу persons, идентифицирующий человека и PhoneNumber - номер телефона. Тем самым вы смогли бы достигнуть гибкости в плане количества телефонных номеров, позволяя одному человеку иметь любое число номеров - от нуля до бесконечности (в настоящий же момент вы, помимо всего прочего, вынуждены также записывать NULL или пустую строку в поле phone_2? если такового номера нет)

Впрочем, это все - сослагательное наклонение. В текущей же реализации тот запрос, что вы привели страдает излишним (нет, даже вопиющим) количеством подзапросов. Разумеется, это существенно бьет по производительности (скажем, чтобы указать обычное условие phone_2 != "" совсем не обязательно делать для этого отдельный подзапрос, который будет снова перебирать все 120 000 записей. И так по 120 000 итераций на каждую из 120 000 записей. Словом, число итераций идет на миллиарды)

В принципе, подобный запрос должен сводиться к использованию GROUP BY и hAVING и представлять собой что-то вот такое:

SELECT fio, phone_2
FROM persons 
WHERE 
        phone_2 != '' 
    AND ACTIVE = 1
GROUP BY fio, phone_2
HAVING COUNT(*) = 1

однако конкретно ваш случай осложняется тем, что в результате нужно получить поле, не входящее в условие GROUP BY, поэтому потребуется дополнительный запрос. Например так:

SELECT p.number
FROM persons p 
JOIN 
(
        SELECT fio, phone_2
        FROM persons 
        WHERE 
            phone_2 != '' 
            AND ACTIVE = 1
        GROUP BY fio, phone_2
        HAVING COUNT(*) = 1 
) p2 ON p2.fio = p.fio

не стану утверждать, что он выполнится в мгновение ока (чтобы быть в чем-то уверенным, стоило бы попробовать это на ваших данных), однако должен занять существенно меньше пяти часов

1

По поводу нормализации согласен. Копаюсь в старом проекте. Кстати а почему в таблице p2 идёт проверка на пустоту номера? Ведь телефон второй может быть не пустой, а поле active не иметь значения 1. Посмотрите пожалуйста в таком случае, правильно ли я составил:

SELECT number
FROM persons AS a
JOIN (
    SELECT fio
    FROM persons
    WHERE active = 1
    GROUP BY fio
    HAVING COUNT(*) = 0
) AS b
ON a.fio = b.fio
WHERE phone_2 != ''

Просто active = 1 в строке с непустой phone_2 исключение очень редкое. Можно просто будет дописать запрос для частного случая.

1
  • Во внутреннем подзапросе находим все не одинаковые fio и phone_2, при которых ACTIVE = 1. Далее через JOIN объединяем по всем полям и опять указываем, что ACTIVE = 1. > SELECT a.number FROM persons a > JOIN ( > SELECT fio, phone_2 > FROM persons > WHERE phone_2 != '' AND ACTIVE = 1 > GROUP BY fio, phone_2 > HAVING COUNT(*) = 1 > ) b ON a.fio = b.fio AND a.phone_2 = b.phone_2 > WHERE a.ACTIVE = 1
    – Alex Krass
    1 апр 2014 в 11:46

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.