1

Приветствую!

Есть задачка по импорту ряда справочников формата DBF в MS SQL Server 2008 из приложения на C#. Ситуация осложняется тем, что я могу делать импорт данных только через хранимые процедуры на сервере, так как у самого приложения может не быть прав на прямую работу с таблицами, в которые нужно добавлять данные. Потому, например, System.Data.SqlClient.SqlBulkCopy не очень-то подходит, как и прямые запросы через SqlCommand. Сразу скажу, что есть ограничение и на команду EXEC на сервере, т.е. динамические запросы не взлетят.

Сейчас имеется порядка 12 файлов XML, в которых лежат сконвертированные из DBF данные, это — источник. В качестве приемника используются 12 таблиц в БД MS SQL.

При этом структуры таблиц-источников и таблиц-приемников не совпадают (типы, названия полей). Обусловлено это тем, что в XML данные хранятся без явного указания типа (да, можно было бы делать схему в XSD но это не нужно, т.к. в оригинальных файлах, например, значения типа int сплошь и рядом хранятся в char, т.е. в источнике поле имеет тип char, в приемнике должно быть int).

Имена полей не совпадают по причине того, что они просто криво были названы в DBF, и в MS SQL переносить это не хотелось (например, название города в справочнике хранится в поле с названием I_GOR, в SQL БД - это же поле названо как Name).

Зато вот число полей любой таблицы-источника совпадает с числом полей аналогичной таблицы-приемника.

Потому, решение видится в качестве одной хранимой процедуры, пусть 'sp_ImportXMLDictionary', которой бы на вход в качестве параметров подавались бы: имя таблицы, в которую нужно импортировать и XML-файл, который нужно импортировать. Процедура брала бы данные из каждой колонки XML, и просто бы вставляла в целевую таблицу в колонку с тем же порядковым номером.

Пример:

Изначально DBF содержит поля с данными:

COD_RS (char), GOR (char), I_GOR (char)
55             000         Нью-Васюки
56             002         Гадюкино
56             007         Васюки

То после обработки получаем на выходе следующий набор полей (c данными) в XML

<?xml version="1.0" standalone="yes"?>
<DocumentElement>
  <SPRGOR>
    <ID>1</ID>
    <COD_RS>55</COD_RS>
    <GOR>000</GOR>
    <I_GOR>Нью Васюки</I_GOR>
  </SPRGOR>
  <SPRGOR>
    <ID>2</ID>
    <COD_RS>56</COD_RS>
    <GOR>002</GOR>
    <I_GOR>Гадюкино</I_GOR>
  </SPRGOR>
  <SPRGOR>
    <ID>3</ID>
    <COD_RS>56</COD_RS>
    <GOR>007</GOR>
    <I_GOR>Васюки</I_GOR>
  </SPRGOR>
</DocumentElement>

Целевая таблица имеет структуру:

ID (int, identity, PK), AreaCode (int), CityCode (int), Name (nvarchar(50))

В идеале хотелось бы сделать так, что бы первое поле из XML попадало в первое поле таблицы (ID ---> ID), второе из XML - в второе поле таблицы (COD_RS ---> AreaCode) и так далее, по числу полей. И да, с конвертацией данных при вставке в тип данных, указанных в приёмнике.

Ваше мнение, как лучше разрешить эту задачку? Возможно, кто-то сталкивался с подобным?

Всё, что я видел пока, это вставка данных в таблицу либо с учетом структуры таблиц, либо предлагается использовать мастер для импорта (с маппингом полей и типов), но использование мастеров не подходит изначально, а привязываться к структуре каждой из таблиц-источников и писать для каждой из них свою хранимку не очень хотелось бы (точнее, очень не хотелось бы).

(Генерацию XML я уже сделал, проблема в последующей загрузке этих данных на сервер)

10
  • 2
    1. Я так понимаю, это разовая задача. Так что следует воспользоваться мастером импорта и не мучиться. 2. Что значит нет прав? Странно, что есть права на создание (не использование) хранимок, но нет прав на использование обычных запросов. Дайте сами себе права и опять-таки не мучайтесь. 3. Иногда проще написать дюжину простых процедур, чем одну сложную. Написал - выполнил - выкинул. Commented 28 нояб. 2016 в 12:16
  • 1
    Передавай XML строку в виде параметра в процедуру, а там читай её как XML, см.. Такое вроде было доступно с 2000-ого.
    – mals
    Commented 28 нояб. 2016 в 12:21
  • @AlexanderPetrov, 1. Нет, не разовая, а периодическая, раз в месяц. 2. Создавать хранимки я могу на тестовой БД, в продакшне все иначе, созданные хранимки в виде скрипта будут залиты DBA единожды. 3. Иногда - да, но не в этом конкретном случае, к сожалению (аналогичную процедуру впоследствии планируется использовать как минимум еще в нескольких местах). @MaLS, спасибо, внутрь процедуры я таким образом передам XML, уже хорошо, потому как например, такое: SET @xml = ( SELECT * FROM OPENROWSET ( BULK 'D:\MyXMLData.xml', SINGLE_CLOB ) AS xml дает ошибку 21(нет прав). Commented 28 нояб. 2016 в 12:33
  • 1
    а) В целевой таблице ID int identity, и вы хотите вставлять ID ---> ID, для этого нужно будет включить set identity_insert [TableName] on, а на это нужны права. Будь я DBA, я бы такое не разрешил (в контексте задачи это кажется ненормальным). б) SqlBulkCopy я бы не сбрасывал со счетов (можно создавать временную таблицу, с помощью SqlBulkCopy импортировать в неё данные, а в процедуре из временной таблицы перекидывать данные в целевую). Впрочем, импорт из xml - тоже вполне годный вариант. в) Префикс sp_ для процедур не рекомендуется использовать.
    – i-one
    Commented 29 нояб. 2016 в 6:53
  • 1
    По префиксам: sp_ - ссылка 1, ссылка 2, tbl_ - ссылка.
    – i-one
    Commented 30 нояб. 2016 в 6:38

1 ответ 1

1

Вот сдесь есть готовый пример кода, который не будет проблем подправить под даный случай:

https://stackoverflow.com/questions/9672780/importing-xml-data-from-xml-file-to-sql-database

1
  • Да, спасибо, я именно похожим образом и сделал, через XPath. XML прокидывается как строка на сервер, и в хранимой процедуре уже распарсивается как таблица именно подобным образом. Принимаю ваш ответ, так как он наиболее соответствует реальности ) Commented 8 февр. 2017 в 5:44

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.