3

Есть файл xml-файл вида:

<?xml version="1.0" encoding="utf-8" ?>
<config>
  <file>
    <name>test.log</name>
    <sourcePath>C:/</sourcePath>
    <targetPath>C:/copy/</targetPath>
  </file>
  <file>
    <name>Win8.iso</name>
    <sourcePath>C:/</sourcePath>
    <targetPath>C:/copy/</targetPath>
  </file>
  <file>
    <name>TemplateNew.xlsx</name>
    <sourcePath>C:/</sourcePath>
    <targetPath>C:/copy/</targetPath>
  </file>
  ...
  ...
  ...
</config>

под тегами скрыто: имя файла, исходный путь к файлу и путь, по которому данный файл требуется скопировать.

Решил парсить файл в список структур:

var document = new XmlDocument();
        document.Load(configPath);

        XmlNode root = document.DocumentElement;

        string name = "";
        string source = "";
        string target = "";
        int iCount = 0;

        foreach (XmlNode nodes in root.ChildNodes)
        {                              
            foreach (XmlNode tagname in nodes.ChildNodes)
            {
                if (tagname.Name == "name")
                {
                    name = tagname.InnerText;
                }
                if (tagname.Name == "sourcePath")
                {
                    source = tagname.InnerText;
                }
                if (tagname.Name == "targetPath")
                {
                    target = tagname.InnerText;
                }
            }
            collect.Added(name, source, target);
            iCount++;
        }

        Console.WriteLine("заполнено {0} элементов", iCount);

Но вот загвоздка, если предположить что файл будет размером, близким к бесконечности, то список превысит допустимые размеры оперативной памяти и я словлю исключение о её чрезмерном размере. Каким образом можно организовать порционное чтение данных, скажем, по 100 записей? Подходит ли данный способ чтения файла под эту задачу?

2
  • Если по условию файл имеет бесконечный размер, то думаю, стоит заранее выяснить размер файла перед его чтением. Ведь можно читать файл по 100 записей и в какой-то момент всё равно словить OutOfMemory.
    – Anxis
    Commented 18 апр. 2017 в 18:18
  • смысл здесь как раз таки в том, чтобы прочитанное из файла сразу же использовать, освободить коллекцию, тем самым освободив место в оперативной памяти.
    – Garrus_En
    Commented 19 апр. 2017 в 3:10

2 ответа 2

5

Вариант с ленивым чтением, xml не будет загружаться в память полностью, как в вашем случае, т.е. можно сделать поточную обработку, можно читать и пачками, если написать Extension, который читает IEnumerable<> и разбивает его на порции заданного размера IEnumerable>

public class FileModel
{
    public string Name { get; set;}
    public string SourcePath { get; set; }
    public string TargetPath { get; set; }
}

public static IEnumerable<FileModel> ReadXml(string path)
{
    using (var fileStream = File.OpenRead(path))
    using (var streamReader = new StreamReader(fileStream, Encoding.UTF8))
    using (var reader = XmlReader.Create(streamReader))
    {
        while (reader.Read())
        {
            if (reader.NodeType != XmlNodeType.Element || reader.Name != "file")
            {
                continue;
            }

            XElement el = XElement.ReadFrom(reader) as XElement;
            var fileModel = new FileModel
            {
                Name = (string)el.Element("name"),
                SourcePath = (string)el.Element("sourcePath"),
                TargetPath = (string)el.Element("targetPath"),
            };

            yield return fileModel;
        }
    }
}
3

Нужно использовать потоковый XmlReader. Загружать сразу все данные в коллекцию нельзя, т. к. по условию файл потенциально очень большой. Будем читать по 100 записей.

Создадим класс для данных:

class File
{
    public string Name { get; set; }
    public string SourcePath { get; set; }
    public string TargetPath { get; set; }
}

Метод, возвращающий список с указанным количеством записей (или меньше в самом конце):

IEnumerable<List<File>> ReadFiles()
{
    using (var reader = XmlReader.Create(fileName))
    {
        var files = new List<File>();

        while (reader.ReadToFollowing("name"))
        {
            var file = new File();
            file.Name = reader.ReadElementContentAsString();

            reader.MoveToContent();
            file.SourcePath = reader.ReadElementContentAsString();

            reader.MoveToContent();
            file.TargetPath = reader.ReadElementContentAsString();

            files.Add(file);

            if (files.Count % 100 == 0)
            {
                yield return files;
                files = new List<File>();
            }
        }

        if (files.Count > 0)
            yield return files;
    }
}

Использование этого метода:

foreach (var files in ReadFiles())
{
    // работаем с коллекцией files

    foreach(var file in files)
    {
        // работаем с одним экземпляром file
    }
}
1
  • Никогда прежде не видел подобной сигнатуры в методах. Это прекрасно
    – Garrus_En
    Commented 17 апр. 2017 в 14:27

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.