1

Задача состоит в следующем - на основе xml и xsd файла необходимо создать БД в ms sql и засунуть туда информацию из xml файла (xml и xsd заранее не известны). Т.к. размер xml заранее не известен, то применять DataSet.ReadXml проблематично, вероятна ошибка нехватки памяти.

Самое оптимальное что удалось найти это использование XmlReader, но так как чтение идет последовательно сверху вниз, то тут возникает проблема в формировании запроса INSERT - идея в том что если в узле содержаться элементы со значениями и эти элементы одинакового уровня вложенности, то формируем запрос на вставку этих значений в таблицу с именем "родительского" элемента.

<a>
   <b>
      <c>val1</c>
      <d>val2</d>
   </b>
   <e>val3</e>
   <f>val4</f>
</a> 

В данном случае необходимо в таблицу a вставить значения b e f, а в таблицу b значения c и d. Сама база данных сейчас создается на основе DataSet.ReadXmlSchema и потом для каждой DataTable я создаю таблицу в БД. Вот что удалось пока написать

while (xml.Read())
      {
       if (xml.NodeType.ToString() == "Element")
          {                    
              if (xml.IsEmptyElement != true)
                  {
                     myStack.Push(xml.Name);
                  }
          }
       else if (xml.NodeType.ToString() == "Text")
          {
              string first = myStack.Peek().ToString();
              myStack.Pop();
              string second = myStack.Peek().ToString();
              myStack.Push(first);
              Console.WriteLine("table {0} column {1} value {2}", second, first, xml.Value);
              string cmd = "INSERT INTO " + second + " (" + first + ") VALUES ('" + xml.Value + "')";
              SqlCommand command = new SqlCommand(cmd, conn);
              command.ExecuteNonQuery();
         }
     else if (xml.NodeType.ToString() == "EndElement")
         {
             myStack.Pop();
         }
     }

Но тут в одну строку только одно значение, что соответственно не правильно.

Update: вот так пытаюсь используя рекурсивную функцию и заполняя массивы из которых затем формировать инструкции

static void recursive_read_first (XmlReader xmlr, string e)
        {
            var iterationResult = new List<string>();
            while (xmlr.Read())
            {
                xmlr.MoveToContent();
                if (xmlr.Name != e)
                {
                    if (xmlr.NodeType.ToString() == "Element")
                    {
                        Console.WriteLine(xmlr.Name);
                        iterationResult.Add(xmlr.Name);
                        recursive_read_first(xmlr.ReadSubtree(), xmlr.Name);

                    }
                    else if (xmlr.NodeType.ToString() == "Text")
                    {
                        Console.WriteLine(xmlr.Value);
                        iterationResult.Add(xmlr.Value);
                    }
                    else if (xmlr.NodeType == XmlNodeType.EndElement)
                    {
                        Console.WriteLine("EndElement " + xmlr.Name);
                    }
                }
            }
            result.Add(iterationResult);           
        }
6
  • Возможно, проще будет сделать с помощью SQL XML Bulk Load. 1 июл 2015 в 9:01
  • @AlexanderPetrov насколько я понял она работает только с одной таблицей, а не с набором таблиц, возможно я ошибаюсь
    – e1s
    1 июл 2015 в 10:02
  • Вообще довольно странный запрос - создать БД по XML, при этом у XML структура дерево, у БД структура ориентированный граф. Как в том XML задавать межтабличные связи?
    – Vesper
    8 июл 2015 в 12:31
  • @Vesper а что вы предлагаете? Невозможно по вашему?
    – e1s
    8 июл 2015 в 12:34
  • По крайней мере в схеме нужно задавать, какое значение пихать в тот же b, если в нем вложенный XML какого-то вида. Если формат схемы (хотя бы) у вас под контролем, можно в каждой ноде, на которую есть ссылка из другой таблицы планируемой БД (всякие там PK, FK), помечать каким-нибудь id (глобальным в рамках всего XML), и потом на этапе построения БД в парсере хранить id от той записи, которая была создана при добавлении данных из элемента XML в таблицу, и когда будет вноситься инфа с внешней ссылкой, вытащить этот id из хэша/массива и подставить в запрос INSERT INTO... VALUES(...).
    – Vesper
    8 июл 2015 в 12:41

1 ответ 1

1
+50

Чтобы не оставлять вопрос без ответа:

class Program
{
    class RecordInfo
    {
        public string Name { get; set; }
        public List<Tuple<string, string>> Data { get; set; }
    }

    static Tuple<string, List<RecordInfo>> recursive_read(XmlReader xmlr)
    {
        while (xmlr.NodeType != XmlNodeType.Element && xmlr.Read());

        var text = "";
        string elementName = xmlr.Name;

        var childrenData = new List<Tuple<string, string>>();
        var result = new List<RecordInfo>();

        while (xmlr.Read())
        {
            if (xmlr.NodeType == XmlNodeType.Element)
            {
                var childName = xmlr.Name;

                var subtree = xmlr.ReadSubtree();
                subtree.Read(); // проматываем текущий элемент

                var subtreeResult = recursive_read(subtree);

                childrenData.Add(Tuple.Create(childName, subtreeResult.Item1));

                result.AddRange(subtreeResult.Item2);
            }
            else if (xmlr.NodeType == XmlNodeType.Text)
            {
                text = xmlr.Value;
            }
        }

        if (childrenData.Any())
        {
            result.Add(new RecordInfo
            {
                Name = elementName,
                Data = childrenData
            });
        }

        return Tuple.Create(text, result);
    }

    static void Main(string[] args)
    {
        var reader = XmlReader.Create(@"c:\temp\1.xml");
        var records = recursive_read(reader);
        foreach (RecordInfo record in records.Item2)
        {
            Console.WriteLine("INSERT INTO {0} ({1}) VALUES ({2})",
                record.Name,
                String.Join(",", record.Data.Select(d => d.Item1)),
                // стоит использовать параметры, а не клеить SQL напрямую
                String.Join(",", record.Data.Select(d => "'" + d.Item2 + "'")) 
                );
        }
    }
}

выводит:

INSERT INTO b (c,d) VALUES ('val1','val2')
INSERT INTO a (b,e,f) VALUES ('','val3','val4')

Если объем достаточно большой, то лучше забрасывать результат в ConcurrentQueue вместо строк

result.Add(new RecordInfo
{
    Name = elementName,
    Data = childrenData
});

и в отдельном потоке выполнять SQL по мере поступления.

14
  • спасибо, но никак не могу понять конструкцию while (xmlr.NodeType != XmlNodeType.Element && xmlr.Read()); Почему там нет тела цикла {}
    – e1s
    6 июл 2015 в 6:51
  • @e1s смысл - вызывать Read пока NodeType не станет равным Element. это по сути while (xmlr.NodeType != XmlNodeType.Element) { xmlr.Read(); }, но с проверкой что Read вернул. т.е. аналог - ` while (xmlr.NodeType != XmlNodeType.Element) { if (!xmlr.Read()) { break; } }
    – user177221
    6 июл 2015 в 7:43
  • те вот так while (xmlr.NodeType != XmlNodeType.Element && xmlr.Read()) { } правильно я вас понял? Что то типо заглушки?
    – e1s
    6 июл 2015 в 7:50
  • @e1s да, просто заглушка
    – user177221
    6 июл 2015 в 7:51
  • 1
    @e1s добавьте в RecordInfo поле типа RecordInfo - чтобы RecordInfo для b ссылалась на RecordInfo для a. или наоборот - как у вас там в базе свзязи стоят. При генерации SQL обрабатывайте RecordInfo в нужном порядке - в том, в котором зависимости в базе нужно проставлять. Там же выбирайте id и проставляйте их у зависимых записей (id можно тоже прямо в RecordInfo положить, и заполнять в момент вставки RecordInfo в базу). Как-то так.
    – user177221
    8 июл 2015 в 11:10

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.