0

Задача сама по себе не сложная и решается силами чистого питона плюс-минус понятно, но пытаюсь прикрутить к ее решению pandas. Раньше для подобных задач все конвертил в эксель, но в данном случае (около 6 млн строк) эксель дает дуба :) Есть логи IIS и я хочу получить из них информацию о количестве запросов к серверу, например в интервалы по 10 минут (т.е. это разбиение на временные интервалы)

из логов получил датафрейм (взял маленький кусок для примера):

 df = get_dataframe(get_log_list())
 
date        time            cs-username  timestamp  0
2022-05-17  01:36:55                   - 2022-05-17 01:36:55 1    
2022-05-17  01:36:59        test1        2022-05-17 01:36:59 2    
2022-05-17  01:37:09                   - 2022-05-17 01:37:09 3    
2022-05-17  01:37:10        test1        2022-05-17 01:37:10 4    
2022-05-17  04:51:55                   - 2022-05-17 04:51:55 ...      
  1. Никак не могу разобраться, как получить количество запросов к серверу поинтервально (с шагом в 10 минут, например): то есть получить результат, для приведенного примера, вида:
    2022-05-17 01:20:00 - 0  
    2022-05-17 01:30:00 - 25  
    2022-05-17 01:40:00 - 100  
    2022-05-17 01:50:00 - 300  
    etc
  1. Как в целом применять условие "учитывать только запросы где "cs-username равно какому-то определенному значению или пустому". например учитывать при подсчете только запросы без авторизации, т.е. с пустым юзернеймом или наоборот?
4
  • 1
    Приведите пример данных (кусок вашего датафрейма в виде csv для воспроизведения).
    – strawdog
    18 мая 2022 в 9:21
  • 2022-05-17 01:36:55 - 2022-05-17 01:36:55 2022-05-17 01:36:59 test1 2022-05-17 01:36:59 2022-05-17 01:37:09 - 2022-05-17 01:37:09 2022-05-17 01:37:10 test1 2022-05-17 01:37:10 2022-05-17 04:51:55 - 2022-05-17 04:51:55
    – Илья
    18 мая 2022 в 14:53
  • ну и что вы привели? как с этим работать? ссылку на файл на файлообменнике приложите , чоли...
    – strawdog
    18 мая 2022 в 18:32
  • dropbox.com/s/gwzw1vglrgt6kyv/1.xls?dl=0 ПРошу простить, не понял сразу
    – Илья
    18 мая 2022 в 21:01

1 ответ 1

1

попробуйте как-то так:

# устанавливаем timestamp как индекс и преобразуем в тип datetime
df = pd.read_excel('1.xls',index_col='timestamp',parse_dates=True)

df = df.resample('10min').size()
>>> df.head()
'''
timestamp
2022-05-18 05:00:00     4
2022-05-18 05:10:00     0
2022-05-18 05:20:00    28
2022-05-18 05:30:00    56
2022-05-18 05:40:00    16
Freq: 10T, dtype: int64

а на счет "учитывать только запросы где "cs-username равно какому-то определенному значению или пустому", вы можете использовать фильтрацию строк, например: df[df['cs-username']=='test1']

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.