1

Как я могу демаршалить( unmarshaling) большой XML файл в базу данных MySQL?

Не могу найти толковую стать где сложный большой файл XML можно в нее положить.

Примерная структура файла, который нужно положить в БД

**

<?xml version="1.0" ?>
<SALES>
   <SALE>
    <CARD>11111</CARD_NUMBER>
    <DATE>11111111</DATE>
    <PRODUCTS>
        <PRODUCT>
            <PRODUCT_CODE>111</PRODUCT_CODE>
            <NAME>11111</NAME>
            <PRICE>11111</PRICE>
            <COUNT>11111</COUNT>
        </PRODUCT>
    </PRODUCTS>
</SALE>
</SALES>
**
4
  • Что значит "демаршалить в базу данных"? Может просто в поле типа blob бросить этот файл?
    – Sergey
    19 мая 2022 в 7:49
  • Я имею ввиду взять перенести информацию из файла XML в БД, файл довольно большой(200мб) и какой правильный вариант выбрать для переноса я не знаю, spring Batch не знаю подходит для этого или я не туда думаю 19 мая 2022 в 8:36
  • Комбинируя Stax и jaxb, можно извлекать по крайней мере елементы SALE по одному в цикле. Если PROCUCT-ов внутри SALE не много, то будет работать хорошо. Хоть 200Гб. Очень простой приём. Не знаю есть ли у меня пример под рукой, но нагуглить точно можно. Есть более изощрённый способ использовать только jaxb. Но это довольно сложный приём, что двже описывать его не хочется. Но тоже можно нагуглить.
    – Sergey
    19 мая 2022 в 10:56
  • Благодарю за помощь) 19 мая 2022 в 10:57

1 ответ 1

1

Используя совместно StAX и JAXB, часто удаётся удобно обрабатывать большие XML в поточном режиме.
Оказывается JAXB может загружать из XMLStreamReader только часть документа!
Нужно только предварительно подвести XMLStreamReader к нужному элементу и передать управление unmarshaller-у JAXB.
После загрузки (unmarshal) очередного элемента, нужно подвинуть XMLStreamReader к следующему.
Таким нехитрым образом можно обработать весь xml, не загружая его в память единовременно.

JAXBContext jaxbContext;
Unmarshaller unmarshaller;
XMLStreamReader streamReader;

XMLInputFactory inputFactory = XMLInputFactory.newFactory();
streamReader = inputFactory.createXMLStreamReader(inputStream);
jaxbContext = JAXBContext.newInstance(Sale.class);
unmarshaller = jaxbContext.createUnmarshaller();
while (streamReader.hasNext()) {
    int event = streamReader.getEventType();
    // Проверяем, что встали на элемент <SALE>
    if (event == XMLEvent.START_ELEMENT && "SALE".equals(streamReader.getLocalName())) {
        // Загрузить <SALE> с помощью JAXB
        JAXBElement<Sale> saleElement = unmarshaller.unmarshal(streamReader, Sale.class);
        Sale sale = saleElement.getValue();
        saveToDb(sale);
    }
}
streamReader.close();

Список продуктов PRODUCTS внутри SALE будет загружен полностью, конечно.
Если он не большой, то ничего страшного.
А если же огромный, и его тоже хочется обработать в поточном режиме, то тут я пасс. Никогда не думал о том, можно ли для вложенных списков как-то комбинировать StAX и JAXB.
Есть правда один способ использовать только JAXB. Но он такой изощрённый/извращённый, что не отважусь его приводить (хотя тоже применял:). Может когда-нибудь вспомню ссылку на статью зарубежного автора.

1
  • Благодарю, это именно то, что нужно было 22 мая 2022 в 14:40

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.