1

Здравствуйте!

Есть у меня некий словарь, где много больше элементов чем в примере:

a = { 'hosts': [{u'available': u'0',
             u'disable_until': u'0',
             u'error': u'',
             u'errors_from': u'0',
             u'groups': [{u'groupid': u'361'}],
             u'host': u'my.hostname.local',
             u'hostid': u'144844',
             u'interfaces': {u'302972': {u'dns': u'my.hostname.local',
                                         u'hostid': u'144844',
                                         u'interfaceid': u'302972',
                                         u'ip': u'1.1.1.1',
                                         u'main': u'1',
                                         u'port': u'161',
                                         u'type': u'2',
                                         u'useip': u'1'}},
             u'ipmi_authtype': u'-1',
             u'ipmi_available': u'0',
             u'ipmi_disable_until': u'0',
             u'ipmi_error': u'',
             u'ipmi_errors_from': u'0',
             u'ipmi_password': u'',
             u'ipmi_privilege': u'2',
             u'ipmi_username': u'',
             u'jmx_available': u'0',
             u'jmx_disable_until': u'0',
             u'jmx_error': u'',
             u'jmx_errors_from': u'0',
             u'lastaccess': u'0',
             u'maintenance_from': u'0',
             u'maintenance_status': u'0',
             u'maintenance_type': u'0',
             u'maintenanceid': u'0',
             u'maintenances': [],
             u'proxy_hostid': u'11223',
             u'snmp_available': u'2',
             u'snmp_disable_until': u'0',
             u'snmp_errors_from': u'0',
             u'status': u'0'}] }

В добавок ко всему, как вы наверно заметили, он в юникоде. Элементов у u'interfaces' может быть как один, так и сотни. Собсно вопросы:

  1. Как для каждого элемента сделать .encode("utf-8") чтоб избавиться от u' и в дальнейшем удобнее работать с этим словарём?

  2. Как-то можно в python производить удобный поиск по словарю без миллионов вложенных for key, value in ... ? Конкретно из всего этого безобразия мне нужно получить b = {"my.hostname.local" : {"ip" : "1.1.1.1"}} где my.hostname.local соответствует полю u'host', а ip нужно взять из того u'interfaces', в котором есть u'type': u'2' . Я понимаю как это сделать с помощью 100500 циклов for, но это же ужасно и невероятно неудобно. Есть ли какой-то более хороший и быстрый способ?

8
  • Как вы представляете процесс поиска? что вы вводите и что ожидаете получить? пример ввода и вывода пожалуйста. Особенно для этого: а ip нужно взять из того u'interfaces', в котором есть u'type': u'2' Вам нужен общий метод поиска или только для получения каких-то конкретных данных?
    – Max
    19 дек 2016 в 10:44
  • @Max , здравствуйте. Для начала мне нужно всё это избавить от юникода, потому что я даже с помощью for не могу решить проблему как думал раньше. Процесс поиска банален: функция a.find('ip') которая бы вывела все ключи ip с их значением и, возможно, с "путём" по которым их можно найти. Это же элементарно, почему этого ещё никто не сделал? То что в итоге мне нужно получить я написАл выше, однако смею полагать, что в будущем мне понадобится искать что-то ещё в этом словаре.
    – user231551
    19 дек 2016 в 10:52
  • @user231551, вы можете выложить более сложный пример (можно в виде ссылки на JSON файл или в виде Python кода как у вас в вопросе)? host - всегда один или их может быть много? interfaces - всегда указаны в виде словаря или могут быть как список? 19 дек 2016 в 11:11
  • @MaxU hosts всегда один. Он всегда содержит один list, состоящий из множества словарей, в каждом из которым может быть только один ключ interfaces но в нём может быть множество int ключей значения которых могут отличаться. Простите если слишком сложно объясняю.
    – user231551
    19 дек 2016 в 11:15
  • @user231551, в этом единственном списке (list) - всегда только один элемен (host) или их может быть несколько? 19 дек 2016 в 11:17

2 ответа 2

1

Решение с использованием модуля Pandas:

import pandas as pd

def get_ip(dct):
    if isinstance(dct, dict):
        if 'type' in dct and 'ip' in dct and 'dns' in dct and dct['type'] == '2':
            return {dct['dns']: {'ip':dct['ip']}}
    return pd.np.nan


In [113]: (pd.DataFrame(a['hosts'])
     ...:    .interfaces
     ...:    .apply(pd.Series)
     ...:    .applymap(get_ip)
     ...:    .apply(lambda x: x[x.first_valid_index()], axis=1)
     ...:    .tolist()
     ...: )
     ...:
Out[113]:
[{'my.hostname.local': {'ip': '1.1.1.1'}},
 {'my01.hostname.local': {'ip': '1.1.1.1'}},
 {'my13.hostname.local': {'ip': '1.1.1.1'}}]

PS в качестве hostname я использовал dns из interfaces

Setup:

a = { 'hosts': [{u'available': u'0',
             u'disable_until': u'0',
             u'error': u'',
             u'errors_from': u'0',
             u'groups': [{u'groupid': u'361'}],
             u'host': u'my.hostname.local',
             u'hostid': u'144844',
             u'interfaces': {u'302972': {u'dns': u'my.hostname.local',
                                         u'hostid': u'144844',
                                         u'interfaceid': u'302972',
                                         u'ip': u'1.1.1.1',
                                         u'main': u'1',
                                         u'port': u'161',
                                         u'type': u'2',
                                         u'useip': u'1'}},
             u'ipmi_authtype': u'-1',
             u'ipmi_available': u'0',
             u'ipmi_disable_until': u'0',
             u'ipmi_error': u'',
             u'ipmi_errors_from': u'0',
             u'ipmi_password': u'',
             u'ipmi_privilege': u'2',
             u'ipmi_username': u'',
             u'jmx_available': u'0',
             u'jmx_disable_until': u'0',
             u'jmx_error': u'',
             u'jmx_errors_from': u'0',
             u'lastaccess': u'0',
             u'maintenance_from': u'0',
             u'maintenance_status': u'0',
             u'maintenance_type': u'0',
             u'maintenanceid': u'0',
             u'maintenances': [],
             u'proxy_hostid': u'11223',
             u'snmp_available': u'2',
             u'snmp_disable_until': u'0',
             u'snmp_errors_from': u'0',
             u'status': u'0'},
             {u'available': u'0',
             u'disable_until': u'0',
             u'error': u'',
             u'errors_from': u'0',
             u'groups': [{u'groupid': u'361'}],
             u'host': u'my2.hostname.local',
             u'hostid': u'144844',
             u'interfaces': {u'302973': {u'dns': u'my01.hostname.local',
                                         u'hostid': u'144844',
                                         u'interfaceid': u'302973',
                                         u'ip': u'1.1.1.1',
                                         u'main': u'1',
                                         u'port': u'161',
                                         u'type': u'2',
                                         u'useip': u'1'},
                             u'321123': {u'dns': u'my02.hostname.local',
                                         u'hostid': u'321',
                                         u'interfaceid': u'321312',
                                         u'ip': u'2.2.2.2',
                                         u'type': u'3',
                                         u'useip': u'1'},
                             u'675675': {u'dns': u'my03.hostname.local',
                                         u'hostid': u'566454',
                                         u'interfaceid': u'8987798',
                                         u'ip': u'3.3.3.3',
                                         u'type': u'1',
                                         u'useip': u'1'}},
             u'ipmi_authtype': u'-1',
             u'ipmi_available': u'0',
             u'ipmi_disable_until': u'0',
             u'ipmi_error': u'',
             u'ipmi_errors_from': u'0',
             u'ipmi_password': u'',
             u'ipmi_privilege': u'2',
             u'ipmi_username': u'',
             u'jmx_available': u'0',
             u'jmx_disable_until': u'0',
             u'jmx_error': u'',
             u'jmx_errors_from': u'0',
             u'lastaccess': u'0',
             u'maintenance_from': u'0',
             u'maintenance_status': u'0',
             u'maintenance_type': u'0',
             u'maintenanceid': u'0',
             u'maintenances': [],
             u'proxy_hostid': u'11223',
             u'snmp_available': u'2',
             u'snmp_disable_until': u'0',
             u'snmp_errors_from': u'0',
             u'status': u'0'},
             {u'available': u'0',
             u'disable_until': u'0',
             u'error': u'',
             u'errors_from': u'0',
             u'groups': [{u'groupid': u'361'}],
             u'host': u'my3.hostname.local',
             u'hostid': u'144844',
             u'interfaces': {u'402972': {u'dns': u'my13.hostname.local',
                                         u'hostid': u'144844',
                                         u'interfaceid': u'402972',
                                         u'ip': u'1.1.1.1',
                                         u'main': u'1',
                                         u'port': u'161',
                                         u'type': u'2',
                                         u'useip': u'1'},
                             u'421123': {u'dns': u'my12.hostname.local',
                                         u'hostid': u'321',
                                         u'interfaceid': u'421312',
                                         u'ip': u'2.2.2.2',
                                         u'type': u'3',
                                         u'useip': u'1'},
                             u'475675': {u'dns': u'my13.hostname.local',
                                         u'hostid': u'566454',
                                         u'interfaceid': u'8987798',
                                         u'ip': u'3.3.3.3',
                                         u'type': u'1',
                                         u'useip': u'1'}},
             u'ipmi_authtype': u'-1',
             u'ipmi_available': u'0',
             u'ipmi_disable_until': u'0',
             u'ipmi_error': u'',
             u'ipmi_errors_from': u'0',
             u'ipmi_password': u'',
             u'ipmi_privilege': u'2',
             u'ipmi_username': u'',
             u'jmx_available': u'0',
             u'jmx_disable_until': u'0',
             u'jmx_error': u'',
             u'jmx_errors_from': u'0',
             u'lastaccess': u'0',
             u'maintenance_from': u'0',
             u'maintenance_status': u'0',
             u'maintenance_type': u'0',
             u'maintenanceid': u'0',
             u'maintenances': [],
             u'proxy_hostid': u'11223',
             u'snmp_available': u'2',
             u'snmp_disable_until': u'0',
             u'snmp_errors_from': u'0',
             u'status': u'0'}] }
3
  • Хм, хороший пакет, не знал о таком (pandas). А если вместо dns подставлять host , как будет?
    – user231551
    19 дек 2016 в 14:57
  • А, впрочем, не заморачивайтесь, и так пойдёт. Посмотрю что может pandas на досуге и переделаю как нужно. Спасибо!
    – user231551
    19 дек 2016 в 15:24
  • @user231551, решение могло бы быть на порядок проще если бы interfaces был в виде списка словарей, например: pastebin.com/hZRDYy3Q 19 дек 2016 в 15:57
0

Для ясности, вот пример кода, как используя for-циклы получить искомые данные:

>>> [{interface['dns'].encode(): {'ip': interface['ip'].encode()}}
...  for host in a['hosts']
...  for interface in host['interfaces'].itervalues()
...  if interface['type'] == '2']
[{'my.hostname.local': {'ip': '1.1.1.1'}},
 {'my01.hostname.local': {'ip': '1.1.1.1'}},
 {'my13.hostname.local': {'ip': '1.1.1.1'}}]

Код предполагает, что inteface['dns'] не содержит интернационализованных доменных имён (что результат всегда в ascii (sys.getdefaultencoding()) представим).

u'' это текстовое представление unicode объекта в Питоне (как он в исходном коде выглядит). Текстовые данные не следует в байты превращать (что .encode('utf-8') делает), если это не является необходимым (например, какое-нибудь API принимает только байты). Если вы будете использовать байты, чтобы представить текст, то возможно смешать текст, представленный в разных кодировках и получить мусор на выходе, не заметив этого. Чтобы исключить подобный источник ошибок, в Питоне 3 str аналогичен unicode типу из Питона 2.

Код в примере выше работает, потому что в Питоне 2, str объект, содержащий данные в ascii диапазоне (sys.getdefaultencoding()) может с unicode работать, когда необходимо:

>>> u'1' == '1'
True
>>> u'1' in {u'1': 'a'}
True
>>> '1' in {u'1': 'a'}
True
>>> {u'1': 'a'}[u'1']
'a'
>>> {u'1': 'a'}['1']
'a'
3
  • Ага, я именно так и сделал, но мой вариант побольше чем Ваш: pastebin.com/h7A2Td7E . С превеликим удовольствием использовал бы python3 чтоб не смущали дурацкие u', но увы нет тех. возможности. Спасибо за Ваш вариант! P.S. У вас много репутации, объявите конкурс на самую короткую запись кода :)
    – user231551
    19 дек 2016 в 16:10
  • @user231551: 1- ваш код, а также конкретные проблемы с ним, лучше в самом вопросе приводить, чтобы точно определить что вы хотите найти и чем текущий подход не устраивает (если устраивает, то в качестве собственного ответа можете опубликовать). 2- Код в моём ответе самый прямолинейным (в лоб) и читаемый (насколько у меня получилось). Краткость—это плохой критерий (вы можете создать новый вопрос с меткой соревнование, но это будет уже другой вопрос, другие критерии оценки кода). Посмотрите в описании метки о правилах для таких вопросов.
    – jfs
    19 дек 2016 в 16:26
  • Эм-м, на счёт конкурса - это юмор был такой, ну знаете, "ха-ха :)" и т.п. свой "ответ" я доделал почти одновременно с @MaxU и Вами поэтому и не опубликовал его. В общем-то я теме я написал, что в принципе знаю как это решить, но мне это не очень нравится. Если не ошибаюсь, pep8 в случаях с трёхэтажными вложенными циклами как раз придерживается политики "краткости". Но всё равно спасибо.
    – user231551
    19 дек 2016 в 16:37

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.