1

Использую xml.ETree.ElementTree для парсинга большого xml файла последовательно с помощью iterparse. Однако со временем приложение начинает съедать много памяти. Похоже, хоть iterparse и обрабатывает документ последовательно, но сохраняет всё дерево документа. Как этого избежать?

Желательно с помощью стандартной библиотеки, а не сторонних парсеров.

2
  • 1
    Здравствуйте. Есть замечательная утилита jq. Она используется для парсинга json. Есть аналоги для xml. Советую Вам посмотреть в сторону yq Commented 5 мар. 2019 в 7:24
  • 1
    Посмотрите в сторону xml.parsers.expat, пример: github.com/gil9red/SimplePyScripts/blob/… Но это очень низкий уровень, зато позволит эффективно обрабатываь гигантские xml
    – gil9red
    Commented 5 мар. 2019 в 7:39

2 ответа 2

1

В статье: https://www.ibm.com/developerworks/ru/library/x-hiperfparse/index.html рассказывается, что iterparse для оптимизации сохраняет много разных ссылок, которые хорошо бы подчищать.

Пример из статьи:

def fast_iter(context, func):
    for event, elem in context:
        func(elem)
        elem.clear()
        while elem.getprevious() is not None:
            del elem.getparent()[0]
    del context

def write_title(elem):
    out.write('%s\n' % elem.text.encode('utf-8'))

context = etree.iterparse(infile, events=('end',), tag='Title')
fast_iter(context, write_title)
0

Замечательная утилита jq. Она используется для парсинга json. Есть аналоги для xml. Советую Вам посмотреть в сторону yq

Взгляните на мой ответ здесь. Он описывает работу с jq

Стандартные парсеры (а-ля xml.ETree) плохи тем, что, как правило, они медленные и накладые, как Вы заметили по памяти. Кроме того, они размазывают парсинг по коду и он становится плохо читаемым и неподдерживаемым. jq и аналоги позволяют локализовать проблему в отдельном скрипте, а сценарий парсинга читать на порядке удобнее.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.