0

Есть большой XML файл в котором нужно поменять элемент с определенным именем и все дочерние элементы на элемент. Использовать XDocument.Load() невозможно, так как выходит SystemOutOfMemoryException. Для примера конструкцию вида:

<e>
   <b></b>
   <c></c>
</e>

Заменить на <elem>val1</elem> учитывая вложенность.

4
  • 5
    Это конечно оффтоп, но я уже не первый вопрос от Вас вижу, который, по сути, сводится к одному и тому же. Может Вы не тот инструмент используете? На мой взгляд, все Ваши проблемы решаются с помощью XSLT и не надо никакого C#.
    – ixSci
    14 июл 2015 в 11:30
  • Возможно Вы правы
    – e1s
    14 июл 2015 в 11:31
  • @e1s: А вы что-то уже пытались сделать, чтобы реализовать требуемую функциональность?
    – Helgi
    15 июл 2015 в 17:56
  • @e1s какой у вас размер документа?
    – user177221
    15 июл 2015 в 18:09

2 ответа 2

5

Преобразование одного XML в другой лучше делать при помощи XSLT, как и сказал @ixSci. Но, согласно ответу в этом посте, проблемы с потреблением памяти всё равно будут:

XSLT id defiled as a transformation over cached (in memory) data and as a result has problems with scaling documents up.

Поэтому будем читать документ при помощи XmlReader, писать при помощи XmlWriter, находя все вхождения нужного элемента (<e>) и заменяя его (на <elem>val1</elem>). Код парсинга XML взят отсюда и немного доработан, чтобы не потерять атрибуты и обработать пустые элементы. Возможно, понадобится обработать другие типы XML-узлов, например, чтобы не потерять комментарии. Пример нужной вам обработки будет выглядеть так:

private static void ProcessXml(XmlReader reader, XmlWriter writer)
{
    while (reader.Read())
    {
        switch (reader.NodeType)
        {
            case XmlNodeType.Element:
                if (reader.Name == "e")
                {
                    reader.Skip();
                    writer.WriteStartElement("elem");
                    writer.WriteString("val1");
                    writer.WriteEndElement();
                    continue;
                }

                writer.WriteStartElement(reader.Prefix, reader.Name, reader.NamespaceURI);
                writer.WriteAttributes(reader, true);
                if (reader.IsEmptyElement)
                {
                    writer.WriteEndElement();
                }

                break;

            case XmlNodeType.Text:
                writer.WriteString(reader.Value);
                break;

            case XmlNodeType.EndElement:
                writer.WriteFullEndElement();
                break;

            case XmlNodeType.XmlDeclaration:
            case XmlNodeType.ProcessingInstruction:
                writer.WriteProcessingInstruction(reader.Name, reader.Value);
                break;

            case XmlNodeType.SignificantWhitespace:
                writer.WriteWhitespace(reader.Value);
                break;
        }
    }
}

Исходный XML:

<?xml version='1.0' encoding='utf-8'?>
<root>
  <f>
    <e>
      <c/>
      <d/>
    </e>
  </f>
  <e>
    <a/>
    <b/>
  </e>
</root>

Результат:

<?xml version='1.0' encoding='utf-8'?>
<root>
  <f>
    <elem>val1</elem>
  </f>
  <elem>val1</elem>
</root>
1
  • Можно использовать другой процессор XSLT, вовсе необязательно использовать встроенный от MS.
    – ixSci
    15 июл 2015 в 17:50
3

Решение на основе XmlDocument / XPath / XSLT будет загружать весь документ в память. И занимать при этом примерно в 5 раз больше памяти, чем документ на диске. XSLT 3.0 включает в себя поддержку streaming-а, но стандартные классы C# его не поддерживают.

Если

  • время обработки некритично.
  • и рабочее решение с XDocument / XSLT уже есть.
  • и размер документа сопоставим с достумным объемом памяти (оперативной + места на достаточно быстром диске) - т.е. весит он порядка гигабайт, а не терабайт.

то самый простой способ - это переключиться на x64. Там приложению будет доступно 4 терабайта памяти (при нехватке оперативной - будет свопить).

  • выбрать активной платформу x64 или AnyCPU на тулбаре или в Build / Configuration Manager.
  • снять чекбокс Prefer 32 bit в свойствах проекта.
  • при необходимости - выставить [gcAllowVeryLargeObjects].(https://msdn.microsoft.com/en-us/library/hh285054(v=vs.110).aspx) в конфиге.
  • заранее увеличить объем своп файла минимум до размера входного xml * 5.

Скрестить пальцы и запустить приложение.

P.S. простой != более технически совершенный.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.