1

Мне нужно распарсить массив таких записей на питоне, конвертировать их в JSON и в каждый JSON-объект добавить несколько полей.

<vpuStatusReply>
<vpu>
<vpuID value="795174117"/>
<vpuNumber value="062202"/>
<vpuStateID value="314"/>
<vpuState value="Согласован"/>
<vpuNeedForECP value="0"/>
<vpuLastOper value="10.06.2018 07:19:05"/>
<docPrice value="0"/>
</vpu>
<vpu>
<vpuID value="795174757"/>
<vpuNumber value="062203"/>
<vpuStateID value="314"/>
<vpuState value="Согласован"/>
<vpuNeedForECP value="0"/>
<vpuLastOper value="10.06.2018 07:23:32"/>
<docPrice value="0"/>
</vpu>
<vpu>

Написал такой код:

import json
import untangle

""" with open("data.xml") as f:
    printer = pprint.PrettyPrinter(indent = 4)
    xml = f.read()
    printer.pprint(json.dumps(xmltodict.parse(xml)))
    obj = untangle.parse(xml)
    print(obj.vpuStatusReply.vpu[0].vpuID['value']) """

class Marshaler:
    def marshal_xml(self, xml_data):
        parsed = untangle.parse(xml_data)
        json_array = []
        for entry in parsed.vpuStatusReply.vpu:
            self.parse_entry(entry)

    def parse_entry(self, entry):
        json_data = {}
        print(entry.keys())


with open("vpu.txt") as f:
    xml = f.read()
    marshaler = Marshaler()
    marshaler.marshal_xml(xml)

Хочу пройти по массиву obj.vpuStatusReply.vpu, конвертировать каждый xml-элемент массива в json и добавить к нему нужные поля. Как это можно сделать?

Предполагаю, что в методе parse_entry мне нужно пройти по всем полям, получить значения и из этих данных создать JSON. Но я не знаю, как это реализуется на питоне.

Далее, все такие JSON-объекты надо добавить в массив и массив сконвертировать в JSON. Подскажите, что для этого есть в питоне.

Дополнил метод parse_entry:

def parse_entry(self, entry):
    json_data = {}
    json_data['creatorId'] = 'ETRANTEST'
    json_data['sysId'] = 0
    json_data['type'] = 'document'
    json_data['documentType'] = 'ETRANvpuState'
    json_data['vpuID'] = entry.vpuID['value']
    json_data['vpuNumber'] = entry.vpuNumber['value']
    json_data['vpuStateID'] = entry.vpuStateID['value']
    json_data['vpuState'] = entry.vpuState['value']
    json_data['vpuNeedForECP'] = entry.vpuNeedForECP['value']
    json_data['vpuLastOper'] = entry.vpuLastOper['value']
    json_data['docPrice'] = entry.docPrice['docPrice']
    return json_data

Хочу заменить такое добавление полей одним циклом по ключам. А также нужно в sysId записывать порядковый номер записи в массиве vpu. Как это сделать?

1 ответ 1

4

попробуйте воспользоваться модулем xmltodict:

import xmltodict  # pip install xmltodict

d = xmltodict.parse(xml)

результат:

In [17]: d['vpuStatusReply']
Out[17]:
OrderedDict([('vpu',
              [OrderedDict([('vpuID', OrderedDict([('@value', '795174117')])),
                            ('vpuNumber', OrderedDict([('@value', '062202')])),
                            ('vpuStateID', OrderedDict([('@value', '314')])),
                            ('vpuState',
                             OrderedDict([('@value', 'Согласован')])),
                            ('vpuNeedForECP', OrderedDict([('@value', '0')])),
                            ('vpuLastOper',
                             OrderedDict([('@value', '10.06.2018 07:19:05')])),
                            ('docPrice', OrderedDict([('@value', '0')]))]),
               OrderedDict([('vpuID', OrderedDict([('@value', '795174757')])),
                            ('vpuNumber', OrderedDict([('@value', '062203')])),
                            ('vpuStateID', OrderedDict([('@value', '314')])),
                            ('vpuState',
                             OrderedDict([('@value', 'Согласован')])),
                            ('vpuNeedForECP', OrderedDict([('@value', '0')])),
                            ('vpuLastOper',
                             OrderedDict([('@value', '10.06.2018 07:23:32')])),
                            ('docPrice', OrderedDict([('@value', '0')]))])])])

после этого можно воспользоваться модулем Pandas:

import pandas as pd

add_info = {
   'creatorId':'ETRANTEST',
   'sysId':0,
   'type':'document',
   'documentType':'ETRANvpuState'}

df = (pd.io.json.json_normalize(d['vpuStatusReply']['vpu'])
        .rename(columns=lambda c: c.replace('.@value',''))
        .assign(**add_info))

результат в виде Pandas DataFrame:

In [33]: df
Out[33]:
       vpuID vpuNumber vpuStateID    vpuState vpuNeedForECP          vpuLastOper docPrice  creatorId  sysId      type   documentType
0  795174117    062202        314  Согласован             0  10.06.2018 07:19:05        0  ETRANTEST      0  document  ETRANvpuState
1  795174757    062203        314  Согласован             0  10.06.2018 07:23:32        0  ETRANTEST      0  document  ETRANvpuState

DataFrame можно легко представить в виде списка записей list of dictionaries:

In [34]: df.to_dict('r')
Out[34]:
[{'vpuID': '795174117',
  'vpuNumber': '062202',
  'vpuStateID': '314',
  'vpuState': 'Согласован',
  'vpuNeedForECP': '0',
  'vpuLastOper': '10.06.2018 07:19:05',
  'docPrice': '0',
  'creatorId': 'ETRANTEST',
  'sysId': 0,
  'type': 'document',
  'documentType': 'ETRANvpuState'},
 {'vpuID': '795174757',
  'vpuNumber': '062203',
  'vpuStateID': '314',
  'vpuState': 'Согласован',
  'vpuNeedForECP': '0',
  'vpuLastOper': '10.06.2018 07:23:32',
  'docPrice': '0',
  'creatorId': 'ETRANTEST',
  'sysId': 0,
  'type': 'document',
  'documentType': 'ETRANvpuState'}]
4
  • Мне кажется, что это не то. Конвенции по именованию атрибутов @value неудобны. Потом этот JSON надо сохранять в MongoDB. Подойдет ли формат xmltodict для хранения данных в монге?
    – typemoon
    27 июн 2018 в 9:59
  • @typemoon, об этом стоило сказать в вопросе, а не в комментариях (что надо преобразовать XML в структуру, которую легко импортировать в MongoDB). Я добавил вариант преобразования получившегося словаря в формат понятный MongoDB ... 27 июн 2018 в 10:09
  • а как можно значению поля sysId присвоить порядковый номер записи?
    – typemoon
    27 июн 2018 в 10:25
  • @typemoon, задайте отдельный SO вопрос... ;) 27 июн 2018 в 10:30

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.