3

Добрый день!

Есть таблица docs, в ней хранится данные о документах. Есть таблица docs_duplicate в ней храниться данные о дублированных документах и так же ID оригинал документа. Мне надо вытащить все записи(документы) с таблицы docs исключая дубликаты. Есть запрос который я построил на шару!

  select * from docs d
    where d.id not in(select dd.docs_id_parent from docs_duplicate dd)

Есть - ли алтернативные(быстрее чем этот) варианты запроса?

Таблица docs

------------------------------
|id| start_date | end_date   |
------------------------------
|1 | 01-01-2011 | 01-01-2012 | 
------------------------------
|2 | 22-04-2011 | 22-04-2012 | 
------------------------------
|3 | 14-12-2011 | 14-12-2012 | 
------------------------------
|4 | 25-09-2011 | 25-09-2012 | 
------------------------------
|5 | 01-06-2011 | 01-06-2012 | 
------------------------------
|6 | 21-09-2011 | 21-09-2012 | 
------------------------------

Таблица docs_duplicate

---------------------------
|id|docs_id_parent|docs_id|
---------------------------
|1 |      1       | 3     |
---------------------------
|2 |      4       | 5     |
---------------------------
|3 |      3       | 6     |
---------------------------
2
  • 2
    Я бы добавил в таблицу docs один числовой столбец, который бы указывал в дублирующих документах на оригинал. Тогда, чтобы получить оригиналы хватило бы проверки данного столбца на пустоту.
    – Visman
    21 авг 2015 в 11:18
  • @Visman, Хорошая мысль! Но это не по моему случая, я не имею таких прав. 21 авг 2015 в 11:31

4 ответа 4

2

Текст запроса ничего не говорит о том, быстро или медленно он работает. Нельзя глядя на вариант запроса X сказать что он работает быстрее, чем вариант запроста Y.

"Скорость работы" - это минимум 3 раздельных показателя

  • нагрузка на CPU
  • нагрузка на диск (чтение)
  • нагрузка на диск (запись в лог)

SQL Server не выполняет запрос "как написано". Выполнение запроса всегда состоит из

  • построения плана - преобразования текста SQL в конкретный механизм выполнения
  • выполнения запроса по плану

При этом план запроса для одного и того же текста может выглядеть по разному в зависимости от статистики распределения значений в таблице. И от актуальности этой статистики. И от наличия индексов. И, естественно, от количества значений. И от версии SQL Server. И от edition.

Что делат "оптимизацию запроса по тексту" достаточно странным занятием. Потому что текст вообще ничего не говорит о том, что будет происходить при выполнении.

Например, если данных порядка десятков тысяч строк (т.е. не 2-3 строки, а с более-менее реальными данными) то (на моей машине, на SQL Express, без дополнительных индексов)

  • планы запросов с NOT EXISTS и NOT IN совпадают: введите сюда описание изображения

  • план запроса с LEFT JOIN выглядят чуть иначе: введите сюда описание изображения

дисковая статистика (set statistics io on) одинакова для всех 4 запросов:

Table 'Worktable'. Scan count 0, logical reads 0, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'Workfile'. Scan count 0, logical reads 0, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'docs_duplicate'. Scan count 1, logical reads 109, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'docs'. Scan count 1, logical reads 203, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.

и при этом все запросы отрабатывают примерно за 500ms (на количестве записей 40/20 тысяч, смотреть стоит с помощью set statistics time on c отключенным actual execution plan)

Что можно ускорить:

В плане видны clustered index scan-ы по таблице docs_duplicate. Это, практически, пробег по всем записям с построением списка doc_id_parent / doc_id для последующей фильтрации. Hash match / aggregate с последующей сортировкой (она ест CPU!) - это построение уникального списка из здоровой выборки на 20к записей. Можно построить эти списки заранее:

CREATE NONCLUSTERED INDEX ix_docs_duplicate_doc_id ON [dbo].[docs_duplicate]
(
    [docs_id] ASC
)

-- для других вариантов
CREATE NONCLUSTERED INDEX ix_docs_duplicate_doc_parent_id ON [dbo].[docs_duplicate]
(
    [docs_id_parent] ASC
)

Это поменяет планы на примерно такие:

введите сюда описание изображения

И статистику по io (на моих данных!) на

Table 'docs_duplicate'. Scan count 1, logical reads 45, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'docs'. Scan count 1, logical reads 203, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.

Обращений к docs_duplicate стало меньше. В зависимости от данных в таблице - их может быть намного меньше. И срежет время выполнения (у меня - с 450-500ms до 350-450ms)

Почему это происходит:

  • SQL Server-у больше не приходится сканнировать таблицу и искать уникальные значения. Т.е. ему не надо тратить время процессора на хэширование и сортировку (в первом плане). Он просто берет данные из индекса и льет их наверх.
  • Данные в новых индексах отсортированы. Два отсортированных потока данных можно сждойнить слиянием, а не через hash join. Это тоже снимает нагрузку с CPU.
  • Больше не используются временные таблицы (worktable/workfile). На оригинальных планах этого не видно, но любая hash/sort операция требует памяти. Если SQL Server не угадает с объемом сортировки (из-за старой статистики или из-за положения луны) и выделит слишком мало памяти - он обнаружит это уже в процессе джойна/сортировки. И сделает то, что назывется spill to tempdb - начнет сортировать данные не в памяти, а на диске. SELECT, пишущий на диск - это обычно довольно неприятный сюрприз - даже если у вас SSD.

TL;DR - ВСЕГДА обновляйте статистику перед попытками оптимизировать запрос. Не создавайте индексы наугад. Смотрите планы, а не текст запроса. Оптимизируйте проблемы в плане, а не в тексте. Не верьте в лечение по фотографии.

1
  • Благодарю за ваш глубокий ответ на вопрос. 22 авг 2015 в 6:59
2

Обратите внимание, что в этом запросе соединение осуществляется по dd.docs_id. Это позволяет отсечь из таблицы docs документы, которые указаны как дубликаты в таблице docs_duplicate.

SELECT * 
FROM docs d
LEFT JOIN docs_duplicate dd ON d.id = dd.docs_id 
WHERE dd.docs_id IS NULL

Неверно делать соединение по dd.docs_id_parent, так как результат будет другой. Выборка будет содержать документы, у которых нет дубликатов и этими документами могут быть и сами дубликаты.

4
  • согласен. эту логику должен выбрать сам автор вопроса. так как когда давал ответ структура таблицы не было и поле docs_id тоже
    – Saidolim
    21 авг 2015 в 11:43
  • И на самом деле вы правы, ваш запрос вывел мне на 4 строки меньше строк, но длиться так же. Буду считать ваш запрос приоритетным. Спасибо за ответ. 21 авг 2015 в 11:44
  • 1
    @ШыназАлиш А у вас есть индекс по полю docs_id в таблице docs_duplicate? Если его нет, то добавьте и посмотрите результат. Какой количество строк в ваших таблицах?
    – pavelip
    21 авг 2015 в 11:48
  • @BOPOH нет! 3 это сслыка на дубликат в docs. Его выводить не нужно. А 1 - это оригинал. Задача вывести документы, которые не являются дубликатами!
    – pavelip
    21 авг 2015 в 11:50
1

попробуйте это

SELECT * 
FROM docs d
LEFT JOIN docs_duplicate dd ON d.id = dd.docs_id_parent
WHERE dd.docs_id_parent IS NULL
3
  • 1
    OUTER JOIN не существует. Возможно вы имели ввиду LEFT JOIN (или LEFT OUTER JOIN).
    – pavelip
    21 авг 2015 в 11:27
  • спасибо, не заметил.
    – Saidolim
    21 авг 2015 в 11:29
  • 1
    @SaidolimDjuraev, Спасибо за ваш ответ. Он быстрее чем мой запрос на 1 секунду. Пока буду считать правильным ваш ответ! Если до завтра не найдеться лучше(быстрее) ответ, тогда помечу ваш ответ как ОТВЕТ на вопрос. 21 авг 2015 в 11:33
1

Иногда not exist дает очень неплохие результаты

SELECT *
FROM docs d
WHERE NOT EXISTS (SELECT *
                  FROM docs_duplicate dd
                  WHERE d.id = dd.docs_id) 

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.