2

Есть процедура, которая находит дубликаты по полю:

WITH DuplicateValue
AS (
    SELECT task.Code
        ,COUNT(*) AS CNT
        FROM dbo.TaskData AS task
    GROUP BY task.Code
    HAVING COUNT(*) > 1
    )
SELECT
    ,task.Code
    ,task.Power
    ,task.Process
    ,task.Order
    ,task.Name
FROM dbo.TaskData AS task
WHERE task.Code IN (
        SELECT task
        FROM DuplicateValue
        )
ORDER BY task.Code;

Так я получаю все записи, где поле Code повторяется. Нужно собрать все строки с одним task.Code в одну по такому параметру:

row_one:
    Code = 235
    Power = 12
    Process = 0
    Order = 999
    Name = N'Что-то'  

row_two:
    Code = 235
    Power = 0
    Process = 231
    Order = 0
    Name = N'Что-то'

procedure_result_row:
    Code = 235
    Power = 12
    Process = 231
    Order = 999
    Name = N'Что-то'

То есть, если значение NULL или 0, то оно заменяется на значение из записи с тем же Code, где значение не NULL или 0. В итоге получается одна строка. Повтором по Сode может быть и 3 и 4 (в теории и 10).

Собирался как то через while цикл перебирать одну за одной записи, соединять их и по одной вставлять в таблицу. Но не уверен, что это хорошее решение. Если использовать while,то с каждой итерацией нужно смотреть дубликаты к итерируемой записи, а это отдельный запрос (записей в таблице > 50к).

Может есть более "правильный" способ?

5
  • Если не важно какой из 3,4..10, то по-моему тут достаточно select Code, max(Power), ..., max(Name) from TaskData group by Code. Либо max(nullif(Power, 0)) вместо max(Power) (смотря какие данные), и т.п. Это если просто выборку делать. Если потом дубликаты удалять, то чуть посложнее будет запрос.
    – i-one
    21 авг 2019 в 20:09
  • если значение NULL или 0, то оно заменяется на значение из записи с тем же Code, где значение не NULL или 0. В итоге получается одна строка. А если оба не NULL и не ноль, и при этом неравные?
    – Akina
    22 авг 2019 в 4:54
  • @Akina тогда нужно добавить такие записи в отдельную таблицу 22 авг 2019 в 10:34
  • @i-one спасибо. Вроде как надо работает, но пугает, что слишком просто выглядит). Может вы добавите от в ответ? Ну, чтобы + к репутации был и так далее? 22 авг 2019 в 11:52
  • @nomatter, добавил
    – i-one
    22 авг 2019 в 12:54

1 ответ 1

2

Я приведу сокращённый пример.

Пусть есть данные

DECLARE @TaskData TABLE([Code] int, [Power] int);
INSERT INTO @TaskData
VALUES (235, NULL), (235, 0), (235, 12), (235, 12);

Исходя из условий, вот такой запрос вернёт данные без дубликатов

SELECT
    t.[Code],
    MAX(t.[Power]) AS [Power]
FROM @TaskData t
GROUP BY t.[Code];

Если же нужно не просто получить эти данные, а убрать дубликаты в исходной таблице, то можно это сделать за два шага.

Первый шаг

WITH NormalizedData AS (
    SELECT
        [Power],
        [New_Power] = MAX(t.[Power]) OVER (PARTITION BY t.[Code])
    FROM @TaskData t
)
UPDATE NormalizedData
SET
    [Power] = [New_Power];

сделает все дубликаты для одного [Code] одинаковыми и "правильными".

Второй шаг

WITH NormalizedData AS (
    SELECT
        [RowNum] = ROW_NUMBER() OVER (PARTITION BY t.[Code] ORDER BY (SELECT NULL))
    FROM @TaskData t
)
DELETE FROM NormalizedData
WHERE RowNum > 1;

удалит дубликаты для тех строк, у которых они есть.

Если в данных могут быть отрицательные [Power], то, чтобы условие "не NULL или 0" выполнялось, вместо MAX(t.[Power]) нужно использовать MAX(NULLIF(t.[Power], 0)).

Сравните, например, результат такого запроса

SELECT MAX(t.[Power])
FROM (VALUES (NULL), (0), (-1)) t([Power]);

и такого

SELECT MAX(NULLIF(t.[Power], 0))
FROM (VALUES (NULL), (0), (-1)) t([Power]);
2
  • А в запросе такого вида можно использовать join? У меня есть еще одна таблица (дубликатов нет) , где есть совпадения по Code с таблицей TaskData (где есть дубликаты). inner joinном пытаюсь приконектить по Code, но получаю Column 'dbo.QueryData.Code' is invalid in the select list because it is not contained in either an aggregate function or the GROUP BY clause.. То-есть хочу увидеть поля из QueryData и TaskData. Но, чтобы данные в TaskData были нормализованы(нули заменены в смысле). Или нужно сначала создать нормализованную таблицу, а потом QueryData конектить? 22 авг 2019 в 15:00
  • 1
    @nomatter, да, можно сделать join c результатом группированного select-а, что-то типа select ... from (select code, max(power), ... from TableData group by code) tn join QueryData qd on qd.Code = tn.Code
    – i-one
    22 авг 2019 в 15:07

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.