1

Помогите с алгоритмом. имеется .txt в нем некий список на 12кк строк.

2014/01/18 09:37:49 582 Load <=25%  = 0.01
2014/01/18 09:37:49 592 Load <=50%  = 0.00
2014/01/18 09:37:49 602 Load <=75%  = 0.00
2014/01/18 09:37:49 613 Load <=100% = 0.00
2014/01/18 09:37:49 623 Load >100%  = 0.00

Нужно вытащить из него дату и Load % = самое большое число.
Или хотя бы укажите куда копать, что читать, где найти.

3
  • Числа постоянно типа float ? Commented 16 июн. 2017 в 6:29
  • Да вот в этом виде около 12 миллонов строк и мне нужно отсортировать их по дням но с самым большим % проблема состоит в том что эта запись если вы заметили со временем и это все повторяется каждые 10 минут за сутки много информации выходит но надо самое больше число за сутки
    – Onlyman
    Commented 16 июн. 2017 в 6:45
  • 1
    Прикрепите пример выходных данных Commented 16 июн. 2017 в 6:46

3 ответа 3

1

В цикле читаем файл построчно, регуляркой извлекая интересующие сведения в какую-нибудь коллекцию, а потом аггрегирующей мини-функцией mах находим максимум загрузки. В регулярном выражении используются две группы в первой будет дата, во второй — уровень нагрузки.

import re
exp = re.compile(r"([0-9/]+) [0-9:]+ \d+ Load [<>]=?\d+% += ([0-9.]+)")
with open("файл.txt") as f:
    date, load = max((exp.match(line).groups() for line in f), key=lambda g: float(g[1]))
print("Наибольшая загрузка была {} и равняется {}".format(date, load))
1
  • 2
    я не знаю, но имхо тут не регулярка лучше а обычный токенизатор, пробелы вроде бы стоят на постоянных местах.
    – pavel
    Commented 16 июн. 2017 в 6:50
1

Сортируем:

In [184]: file = open(r'C:\Users\user\Desktop\test.txt ').readlines()

In [185]: sorted(file, key=lambda value: value.split()[-1], reverse=True)

Получаем:

Out[185]:
['2014/01/21 11:37:49 582 Load <=25%  = 0.20\n',
 '2014/01/20 11:37:49 582 Load <=25%  = 0.10\n',
 '2014/01/19 10:37:49 582 Load <=25%  = 0.02\n',
 '2014/01/18 09:37:49 582 Load <=25%  = 0.01\n']

В файле у меня:

2014/01/18 09:37:49 582 Load <=25%  = 0.01
2014/01/19 10:37:49 582 Load <=25%  = 0.02
2014/01/20 11:37:49 582 Load <=25%  = 0.10
2014/01/21 11:37:49 582 Load <=25%  = 0.20

Видим 1 элемент списка это и есть желаемый результат, его и берём.

Итого:

In [200]: result = sorted(file, key=lambda value: value.split()[-1], reverse=True)[0].split()

In [201]: print('Лучший результат был: Дата {0}, Время {1}, Проценты {2}, Результат {3}'.format(result[0], result[1], result[4], result[6]))

Результат:

Лучший результат был: Дата 2014/01/21, Время 11:37:49, Проценты <=25%, Результат 0.20

Учитывая что у вас 12 миллионов строк, реализация следующая:

In [2]: with open(r'C:\Users\user\Desktop\test.txt') as file:
   ...:     result = max(file, key=lambda value: value.split()[-1]).split()
   ...:     print('Лучший результат был: Дата {0}, Время {1}, Проценты {2}, Результат {3}'.format(result[0], result[1], result[4], result[6]))
2
  • 2
    Если берёте только крайний элемент отсортированного списка, есть смысл использовать функции max или min — так экономнее расходуется память из-за того, что не требуется хранить весь файл в ОЗУ. Для файла с 12 млн. записей это может оказаться существенно. Список из строк такого файла будет занимать чуть более 1 ГБ.
    – mymedia
    Commented 16 июн. 2017 в 7:32
  • @mymedia обновил ответ, совсем забыл что там так много строк :) Commented 16 июн. 2017 в 7:37
0
# можно еще сократить время, тк нет необходимости разбивать каждую строку по пробелам
with open(file) as f:
    result = max(f, key=lambda line: line.rsplit('=', 1)[-1])
    print(result.split())

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.