Есть XML
файл с 1000
строк, где есть данные пользователя и новые значения ключа активации для них, как добавить эти данные в базу MS SQL
где уже есть эти пользователи, и нужно просто заменить старые значения ключей на новые
-
Какая у Вас версия SQL Server и какими инструментами допустимо пользоваться, есть ли, например, возможность (и необходимость) написать утилиту для этого?– Serafim Prozorov16 авг 2016 в 1:12
-
ms sql server 2008 r2, можно написать утилиту, я бы применил bulkinsert, но он массово заружает только новые значения, как его заставить добавлять значения, по данным пользователя я не нашел– Aizen Souske16 авг 2016 в 1:21
1 ответ
А чем вам обычный UPDATE из XML переменной не подходит? 1000 строк не такая уж цифра, чтобы думать об какой-то хитрой оптимизации..
для примера накидал простой скрипт:
SET STATISTICS TIME OFF
IF OBJECT_ID('tempdb..#Users', 'U')IS NOT NULL
DROP TABLE #Users;
--создаём табличку с полдьзователями
CREATE TABLE #Users(
Id INT IDENTITY(1, 1),
Value UNIQUEIDENTIFIER
)
--добавляем 100 000 пользователей
;WITH CTE100000 AS(SELECT 1 N UNION ALL SELECT N+1 FROM CTE100000 WHERE N<100000)
INSERT #Users
SELECT NEWID() FROM CTE100000
OPTION(MAXRECURSION 0)
DECLARE
@xml XML
--генерируем xml с 1000 строк
;WITH CTE1000 AS(SELECT 1 N, 100 Id UNION ALL SELECT N+1, Id + 100 FROM CTE1000 WHERE N<1000)
SELECT @xml = (
SELECT N [@Id], NEWID()[@Value] FROM CTE1000
FOR XML PATH('row'), ROOT('root')
)
OPTION(MAXRECURSION 1000)
SET STATISTICS TIME ON
--обновляем данные из xml
UPDATE U
SET Value = T.Value
FROM(
SELECT T.c.value('@Id', 'int') as Id, T.c.value('@Value', 'UNIQUEIDENTIFIER') as Value
FROM @xml.nodes('/root/row') T(c)
)T
INNER JOIN #Users U ON U.Id = T.Id
OPTION(FORCE ORDER)
Результат:
/*
Время синтаксического анализа и компиляции SQL Server:
время ЦП = 63 мс, истекшее время = 126 мс.
Время работы SQL Server:
Время ЦП = 15 мс, затраченное время = 16 мс.
(строк обработано: 1000)
*/
Как видим обновление 1000 строк происходит меньше, чем 200ms. Куда вам быстрее?
Единственное, что хочется отметить, это обязательный индекс по #Users.Id и гарантированный пользовательский порядок соединения в операторе UPDATE
, заданный опцией FORCE ORDER
, чтобы этот индекс правильно использовать. (хотя сервер тут и сам бы справился)
UPD: или у вас проблема с тем, чтобы именно прочитать xml из файла и передать на сервер? Параметром хранимой процедуры, например.
UPD: если в xml файле есть данные о пользователях, которые отсутствуют в таблице пользователей, их можно добавить оператором INSERT
, примерно таким:
INSERT #Users(Id, Value)
SELECT T.Id, T.Value
FROM(
SELECT T.c.value('@Id', 'int') as Id, T.c.value('@Value', 'UNIQUEIDENTIFIER') as Value
FROM @xml.nodes('/root/row') T(c)
)T
LEFT JOIN #Users U ON U.Id = T.Id
WHERE U.Id IS NULL
OPTION(FORCE ORDER)
Чтобы обновить старые и вставить новые одним запросом, можно использовать оператор MERGE. Поизучайте хотя бы ради академического интереса, может понравится.
-
Дело в том что записей в самой таблице около 100 тысяч, xml файл имеет в себе только фио и др, и по этим данным надо сверить куда вставлять код, и как это сделать нету понимания... 16 авг 2016 в 5:11
-
@AizenSouske, ну и что? Добавьте индекс по фио и др. Скорость от количества строк в таблице не изменится. Тут всё дело в количестве строк в xml файле, для каждой строки из xml файла сервер по индексу в таблице пользователей ищет строку, которую нужно обновить. Изменил в своём скрипте количество пользователей на 100 000. Анализ плана стал чуть дольше выполнятся, а вот время выполнения запроса так и осталось менее 20ms. Повторяю вопрос. Куда вам меньше?:)– pegoopik16 авг 2016 в 5:21
-
Спасибо, попробую сейчас,время обработки запросы не играло роли, дело именно в понимание как делать, вообщем еще раз спасибо =) 16 авг 2016 в 5:24
-
@PavelMayorov, с чего вы взяли что запрос на синхронизацию с xml один? С чего вы взяли что этого индекса ещё нет? С чего вы взяли, что этот индекс не пригодится для других задач поиска по пользователям? Вполне естественный индекс.– pegoopik16 авг 2016 в 5:54
-
@pegoopik чот я так и не смог разобраться в этом коде, xml файл у меня лежит отдельно на моем компьютере, база лежит на сервере, доступ к серверу есть. Зачем генерировать еще один новый xml во время создание таблицы, и если без этого никак, то как туда вставить данные из моего xml чтобы он их обновил... 16 авг 2016 в 7:14