0

Имеется файл с логами. Как сравнить текущую строку с предыдущей и затем записать в счетчик а если нет сразу в выходной файл с счетчиком?
Суть вопроса выводить число событий NOK за каждую минуту в другой файл

входной текстовы файл event.txt

      [2018-05-14 19:37:47.873687] OK
      [2018-05-14 19:38:25.873687] NOK
      [2018-05-14 19:38:39.873687] OK
      [2018-05-14 19:38:48.873687] NOK
      [2018-05-14 19:38:50.873687] NOK
      [2018-05-14 19:38:58.873687] NOK
      [2018-05-14 19:39:43.873687] OK
      [2018-05-14 19:39:46.873687] OK
      [2018-05-14 19:39:49.873687] NOK
      [2018-05-14 19:40:33.873687] NOK
      [2018-05-14 19:41:05.873687] OK
      [2018-05-14 19:41:46.873687] OK
      [2018-05-14 19:42:29.873687] OK
      [2018-05-14 19:42:55.873687] NOK
      [2018-05-14 19:43:38.873687] NOK
      [2018-05-14 19:43:40.873687] NOK
      [2018-05-14 19:44:06.873687] OK
      [2018-05-14 19:44:30.873687] NOK
      [2018-05-14 19:45:12.873687] NOK

на выходе должен быть примерно output_log.txt

     [2018-05-17 01:57] 1
     [2018-05-17 01:58] 2

class Log:

    def __init__(self, source_file, output_file):
        self.source_file = source_file
        self.output_file = output_file
        self.log_statistic = []

    def read_file(self):
        count = 0
        with open(self.source_file, mode='r', encoding='utf8') as file:
            file_log = file.readlines()
            for line in file_log:
                if 'NOK' in line:
                    print(line[1:17])

parse_file = Log(source_file = 'events.txt', output_file = 'output_log.txt')
parse_file.read_file()
2
  • Пожалуйста, приведите, пример входных-выходных данных. Так будет гораздо понятнее.
    – nomnoms12
    5 окт 2019 в 20:36
  • сейчас у меня получается записать, весь файл в память, а нужно на лету проверять строку и сразу в другой файл записывать
    – radion_dev
    5 окт 2019 в 20:51

1 ответ 1

1

Проще всего сделать так

from collections import Counter

with open(self.source_file, mode='r', encoding='utf8') as file:
    counter = Counter(line[1:17] for line in file if 'NOK' in line)

with open('output_log.txt', 'w', encoding='utf8') as file:
    for date, count in counter.items():
        print(f'[{date}] {count}', file=file)

Правда данные запишутся в файл не сразу а только после полной обработки event.txt. Это займет некоторое место в памти, но относительно небольшое, даже для лога, хранящего записи за сто лет.

В старых версиях python придется отсортировать получившийся словарь, потому, что порядок ключей там не гарантирован

    for date in sorted(counter):
        print('[{}] {}'.format(date, counter[date]), file=file)

Upd:

Ленивый способ. Не хранит в памяти вообще ничего лишнего, пишет данные по мере обработки.

import itertools

with open(self.source_file, mode='r', encoding='utf8') as file:
    with open('output_log.txt', 'w', encoding='utf8') as out:
        for date, group in itertools.groupby(file, key=lambda x: x[1:17]):
            count = sum(1 for line in group if 'NOK' in line)
            if count:
                print(f'[{date}] {count}', file=out)
0

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.