0

Пытаюсь написать регулярное выражение фильтра logstash grok для лога своего web приложения Сам лог формата:

2015-12-02 14:5728,763 POST 1.1.1.1 627472 start_one windows 7 x64

Расшифровка:

Дата метод адрес число функция система

С "нормальным" логом я справиться

%{TIMESTAMP_ISO8601:date} %{WORD:method} %{IPV4:client} %{NUMBER:size} %{WORD:def} (?<VerOs>.*)

На выходе имеем

{
  "date": [
    "2015-12-02 14:5728,763"
  ],
  "method": [
    "POST"
  ],
  "client": [
    "1.1.1.1"
  ],
  "size": [
    "627472"
  ],
  "def": [
    "start_one"
  ],
  "VerOs": [
    "windows 7 x64"
  ]
}

А вот с логом, в котором есть ошибка или пустая переменная, не могу

лог с ошибкой:

2015-12-3 12:16:43,631 POST 2.2.2.2 637263 error=Bad request -
2015-12-3 12:16:43,631 POST 2.2.2.2 error=No found this address - -
2015-12-3 12:16:46,631 GET - - -
2015-12-3 12:16:46,631 POST 3.3.3.3 del -

Хотелось бы изменить имена переменных в поле где встретилась ошибка на error а пустые поля (обозначенные символом "-") исключить из фильтрации

Хочу получить примерно такой результат. Могу и логирование в системе изменить

{
  "date": [
    "2015-12-02 14:5728,763"
  ],
  "method": [
    "POST"
  ],
  "client": [
    "1.1.1.1"
  ],
  "size": [
    "627472"
  ],
  "error": [
    "Bad request"
  ]
}

1 ответ 1

1

Основная проблема которую я вижу это, то что у тебя не фиксированный формат лога т.е. формат строки с ошибкой и без отличаются.

Есть два подхода к решению:

  1. Поменять формат лога на едино образный когда каждый элемент на своем месте даже если отсутствует.

Например:

2015-12-02 14:57:28,763;POST;1.1.1.1;627472;start_one;windows 7 x64
2015-12-02 14:57:28,763;POST;1.1.1.2;;;;error=No found this address
  1. Описать оба варианта и правила по которому их выбирать, примеры.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.