4

Здравствуйте. Ситуация: есть модель(дисериализованный файл), довольно большая. В ней много строк и вложенных объектов. (Модель YML каталога).

[XmlRoot("yml_catalog")]
public class YMLCatalog
{
    /// <summary>
    /// Дата и время генерации YML файла на стороне магазина
    /// </summary>
    [Required]
    [XmlAttribute("date")]
    public string Date { get; set; }

    /// <summary>
    /// Магазин
    /// </summary>
    [Required]
    [ValidateObject]
    [XmlElement(ElementName = "shop")]
    public Shop Shop { get; set; }
}

/// <summary>
/// Точка продаж
/// https://yandex.ru/support/webmaster/goods-prices/technical-requirements.html
/// </summary>
public class Shop
{
    /// <summary>
    /// Название магазина.
    /// </summary>
    [Required]
    [XmlElement("name")]
    public string Name { get; set; }

    /// <summary>
    /// Название компании
    /// </summary>
    [Required]
    [XmlElement("company")]
    public string Company { get; set; }
    ... и тд.
}

При валидации модели, в случае ошибки, я получаю (при помощи магии. См. краткое описание в комментариях) путь к ошибке. Например для YML файла с ошибкой в теге price, 0го оффера, в виде отсутствия цены, я получаю путь: shop/offers/offer['0 или 1', смотря как удобнее. Для XPath лучше 1]/price Value: Текст ошибки. (Value - поле со значением тега, аналогично может быть для атрибутов)

Нас интересует: shop/offers/offer[0]/price

По этому пути, мне нужно определить номер строки, где находиться этот тег. Чтобы указать пользователю где ошибка.

Что я пробовал:

1) Сделал через регулярные выражения. Сначала последовательно нахожу индекс элементов по пути, как получу индекс начала тега Price в файле. Затем собираю список строк в файле и нахожу номер строки для вывода, относительно всего файла. - Это работает, но меня не устраивает. Слишком медленно, а у меня могут быть очень большие файлы

2) Попробовал сделать через XPath. Т.е например можно легко получить элемент тега вот так:

XmlDocument document = new XmlDocument();
document.LoadXml(text);
var node = document.SelectSingleNode("//shop/offers/offer[1]/price");// это для примера

3) Есть вариант с созданием своего дессериализатора + атрибутов валидации для него, чтобы к каждому полю в модели приписывать в метаданных IXmlLineInfo - который в стандартном XmlSerializer к сожалению используется только при выдаче информации об ошибке - но это долго, а те готовые, что я нашел, не поддерживаются в net core... UPD: также в таком случае требуется поддержка не только составных объектов, но и простых + простых атрибутов (string, int, long и тп)

Вопрос 1: XPath как-нибудь позволяет получить кол-во элементов выше (или лучше их список) ? Вроде комбинировать preceding и ancestor нельзя (ссылка) - Но опять же, даже если это получиться, придется искать индекс, создавая список строк файла. - Не очень хорошо, хотелось бы узнать номер строки ошибки другим способом

Пробовал "//shop/offers/offer[ 1 ]/price/preceding::*", но в таком случае игнорируются все элементы выше shop, почему не знаю. (когда использовал count(...), получал 27 элементов) - Думаю это всяко лучше только регулярных выражений

Знаете еще способ? Прошу в ответы:)

Главный вопрос: Так как лучше всего найти номер строки ошибки, имея XML и путь к тегу?

P.S Производительность решения приветствуется)

18
  • Покажите-ка магию через которую вы получаете путь к ошибке... 20 фев 2018 в 17:36
  • @PavelMayorov Это тема для отдельного вопроса. В кратце: сделал атрибуты валидации, которые позволяют делать автоматический рекурсивный вызов валидации объектов(и отдельный атрибут для списков объектов). (Чтобы например прошла валидация для свойства Shop). Затем вызываю Validator.TryValidateObject(context, catalog,...) и получаю в случае ошибок список results (List<ValidationResult>) из которого уже можно вытащить путь по именам свойств
    – Xambey
    20 фев 2018 в 17:39
  • То есть у вас уже есть десериализованная объектная модель? Это все упрощает... 20 фев 2018 в 17:42
  • @PavelMayorov да, есть. Только вот в получении номера строки это не особо помогло:(
    – Xambey
    20 фев 2018 в 17:43
  • По идее, если в процессе загрузки происходит валидация - то в момент Exception валидатора, TextReader будет содержать номер линии где (или около) которой возникло исключение.
    – nick_n_a
    27 фев 2018 в 10:25

3 ответа 3

3
+50

Не выдержал, решил дать свой ответ.

Во-первых, XmlSerializer выдаёт ошибку не только при ошибке синтаксиса XML (например, незакрытый тег), но и в том случае, если тип данных не соответствует ожидаемому (например, свойство Price имеет тип decimal, а в узле Price пусто или нечисловая строка). При этом в выбрасываемом исключении содержится сообщение, содержащее номер и позицию ошибки:

В документе XML (4, 18) присутствует ошибка.

На мой взгляд, это уже фактически решает вопрос. Строка с ошибкой известна, можно её исправлять.


Чуть погуглив, я легко выяснил, что для документов YML имеется схема. Скачать её можно здесь.

При валидации по схеме будет выдаваться описание ошибки наподобие следующего:

Элемент "Price" недействителен: значение "" недействительно с точки зрения его типа данных "http://www.w3.org/2001/XMLSchema:decimal" - Строка "" не является допустимым значением Decimal.

Это даёт огромное удобство: пользователь легко поймёт и исправит ошибку.

Сама валидация делается в несколько строк:

var xs = new XmlSerializer(typeof(Test));    
var settings = new XmlReaderSettings { ValidationType = ValidationType.Schema };

var schemas = new XmlSchemaSet();
schemas.Add(null, "schema.xsd");
settings.Schemas = schemas;
settings.ValidationEventHandler += Settings_ValidationEventHandler;

using (var xr = XmlReader.Create("test.xml", settings))
    //while (xr.Read()) ;
    item = (Test)xs.Deserialize(xr);


private void Settings_ValidationEventHandler(object sender, ValidationEventArgs e)
{
    Console.WriteLine(e.Severity);
    Console.WriteLine(e.Message);
    Console.WriteLine(e.Exception.LineNumber + " " + e.Exception.LinePosition);
}

В данном коде валидация происходит в процессе чтения xml. То есть нет лишних проходов/загрузок, всё максимально эффективно по скорости и объёму памяти.

Если нужно только валидация без десериализации, то раскомментируйте строку с while, закомментировав следующую.


В том подходе, который используете вы сейчас, всё делается, имхо, очень неэффективно.

Десериализация - отдельно (проход по xml, потребление памяти).
Валидация - отдельно (ещё проход, ещё память).
Поиск строки с ошибкой с помощью XPath - ещё одна загрузка xml в XmlDocument/XDocument (опять полный парсинг xml, опять тратится время и память).

Кроме того, если xml синтаксически некорректен (незакрытый тег), то он вообще не загрузится в XmlDocument/XDocument и вы никогда не узнаете, где же ошибка...

Кроме того, вы вручную расставляете атрибуты валидации и пишете код валидации... Лишняя работа.

5
  • Атрибуты валидации у меня - не лишняя работа. Официальная YML схема (xsd) не покрывает даже близко все их требования к значениям. Хотя в целом я вас понял, тогда нужно 'доделать' их схему
    – Xambey
    1 мар 2018 в 14:31
  • @Xambey - если выполняются дополнительные проверки, тогда согласен, смысл в ручной валидации есть. 1 мар 2018 в 14:32
  • хм, а он десериализует при наличии ошибок? Или точно будет просто exception выброшен? Просто тут недавно добавилось... Дали приказ сделать загрузку даже с наличием ошибки, чтобы браковать только не валидные офферы, а другие загружать:) Грубо говоря у меня сейчас делается десериализация и затем на этапе загрузки в базу данных бракуются не валидные offer'ы. Т.е десериализация нужна в любом случае. Ну и это не считая еще кучи дополнительных проверок по огромной БД
    – Xambey
    1 мар 2018 в 14:37
  • @Xambey - При наличии ошибок десериализация прервётся, конечно же. А вот отдельно валидацию можно провести полностью по всему xml, получив список ошибок. 1 мар 2018 в 14:50
  • ну я фактически сейчас так и делаю, не нравится только вариант с тем, что номер строки определяется регулярками. Думаю я сделаю так: делаю десериализацию, затем устанавливаю для ридера позицию в начало и скармливаю его Валидатору, после по необходимости опять скармливаю ридер XDocument, как в предложенном ниже варианте. Чтобы затем юзать XPath, думаю это лучший вариант. Но с вашим я еще подумаю, с этим можно работать. Спасибо:) Зачту ваш ответ как самый информативный
    – Xambey
    1 мар 2018 в 14:55
3

а через LINQ to XML нельзя сделать?
что-то вроде такого ...

XDocument xdoc = XDocument.Load(file, LoadOptions.SetLineInfo);
var node = xdoc.XPathSelectElement("//shop/offers/offer[1]/price");
var lineNumber =  ((IXmlLineInfo)node).LineNumber;
1
  • Так вот как можно получить информацию о ноде по элементу... Мда... Странно, а обычный selectElement, у XmlDocument, который рекомендуют использовать при работе с XPath, возвращает тот же node, что и в вашем примере, но без информации о строке при касте к IXmlLineInfo... Спасибо!!
    – Xambey
    1 мар 2018 в 13:56
2

а нельзя добавить в сам цикл и обработку, индекс, который и будет указывать на номер тега. Прошу прощения, вы это сами уже предложили и отвергли. И все таки почти всегда есть главный цикл обработки, и передать место сбоя в виде текущего номера обрабатываемого элемента, вроде как можно, ведь оно будет равняться текущему элементу цикла. ParentNode возвращает родительский узел у текущего узла. Наверное можно обратиться к родителю, узнать количество смежных узлов, обратиться к родителю родителя и так далее. Можно посчитать количество переводов строки после закрывающихся тегов, не уверен что это вообще из этой оперы, но может помочь в идентификации нужного узла и места.

1
  • Индекс не будет совпадать, в файле полно тегов, у которых значение занимает несколько строк. В этом и есть главная проблема. Иначе я бы легко сделал это через XPath, он позволяет получать кол-во эл-в в любом ноде. И что самое главное, если в данном случае считывать информацию из каждого нода, это по нагрузке будет еще хуже решения через регулярные выражения. Идеально было бы иметь десериализатор, который при необходимости по ссылке на свойство, даст строку
    – Xambey
    26 фев 2018 в 19:36

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.