Вопросы с меткой [logstash]

Руководство по использованию метки отсутствует.

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
14 показов

Logstash отмена drop

Можно ли отменить drop в логсташ если он уже применяется? Пример: filter { if [kubernetes][labels][app] =~ /^dr-.*/ { if [level] == "DEBUG" { drop {} } #Дроп во всех индексах ...
IceWIce's user avatar
0 голосов
0 ответов
14 показов

Не вставляются данные в elasticsearch пока не удалишь старые индексы. В чем может быть причина?

Использую для логирования своих сервисов ELK. В один прекрасный момент перестали сохраняться логи в эластике...Удалил несколько старых индексов и записи снова начали сохраняться. Места на диске полно. ...
BSW's user avatar
  • 59
0 голосов
0 ответов
23 показа

logstash останавливает elasticsearch

После запуска logstash останавливается elasticsearch. Если logstash не запускать то elasticsearch и kibana работают и я захожу на веб интерфейс кибаны. Пробовал logstash начисто удалить и установить ...
baskos's user avatar
  • 1
0 голосов
0 ответов
19 показов

Logstash - последовательная загрузка данных из разных источников

Подскажите пожалуйста, если у меня есть input секция в logstash, гдя я считываю данные из двух разных источников, то как мне сделать, чтобы данные считывались по порядку: сначала загружались данные из ...
Alvisid's user avatar
  • 11
0 голосов
0 ответов
22 показа

Logstash parsing logs with key-value Laravel/WordPress/Nginx

Всем привет, Есть задача формализировать логи с NGinx/Laravel/PHP/MySQL через logstash, что-би они правильно парсились (не одним меседжом, а несколько key-value). Здесь больше проблема в самом ...
Roman's user avatar
  • 23
0 голосов
0 ответов
24 показа

Logstash - выполнение очереди конвееров по расписанию

Возможно кто-нибудь сталкивался с такой задачей: как сделать так, чтобы конвееры запускались по очереди (сначала test_1, за ним test_2, потом test_3) каждый час? В pipelines.yml определены несколько ...
Alvisid's user avatar
  • 11
1 голос
0 ответов
40 показов

Ошибка при выгрузке данных из PostgresQL в Elasticsearch через logstash

Подскажите, пожалуйста, может кто сталкивался с такой проблемой: при выгрузке данных из БД в elasticsearch вылетает ошибка [ERROR] 2022-10-31 16:02:14.628 [[main]>worker1] elasticsearch - ...
Alvisid's user avatar
  • 11
0 голосов
0 ответов
17 показов

Заставить logstash отправлять только оригинальную строку

Необходимо заставить logstash 7.17 отправлять в syslog сервер только оригинальную строку из лога, без дополнительных полей. Путем гугления убрал почти все лишние поля, но некоторые остались (на скрине ...
Константин's user avatar
0 голосов
0 ответов
45 показов

Настройка fluentd для сбора логов в Kubernetes из spring-boot приложений

Имею такую настройку logback в spring <?xml version="1.0" encoding="UTF-8"?> <configuration> <appender class="ch.qos.logback.core.ConsoleAppender" name=...
Newmcpe's user avatar
1 голос
1 ответ
70 показов

Как прописать или/или в grok(logstash)?

Есть вот такой лог: <30>Jun 8 16:47:02 oem-virtual-machine dbus-daemon[668]: [system] Successfully activated service 'org.freedesktop.nm_dispatcher' Пытаюсь сделать вот что: 1)Если есть слово ...
chasesilvers's user avatar
0 голосов
0 ответов
57 показов

Некоторые строчки лога не записываются в Kibana через Logstash

Коллеги, такой вопрос. После полной настройки ELK решил проверить, на сколько целостно Logstash записывает и отправляет логи. Дело в том, что я пробую парсить обычный лог, одно сервиса. Там получается ...
Misha_Polutrup's user avatar
0 голосов
1 ответ
112 показов

Файл конфигурации logstash

Всем привет, подскажите будет ли корректен данный код: if [type] == "" or [type] == "" or [type] == "" Если нет, то какие операторы перечисления можно использовать в ...
Jacki's user avatar
  • 67
0 голосов
0 ответов
86 показов

Grok filter and logstash configuration

Есть журнал 2-х видов: 1.sshd: d.kuprevich@pts/0/79512/1012 124.25 111.561 2.74.205.155.180: 52472-76.121.32.65: 443/0/0 1.4234 11.4315 В первом случае после sshd: пробел Вот конфигурация с https://...
Alecso's user avatar
  • 1
0 голосов
1 ответ
125 показов

Создание запроса в Elasticsearch API

Необходимо выполнить запрос в Elasticsearch за определенный период с определенным параметром ключ:значение. Делаю так: "query": { "range": { "@...
vovagib's user avatar
  • 89
0 голосов
0 ответов
151 показ

Почему после рестарта сервиса Elk перестает писать логи?

Имеется стэк ELK в него сервисы пишут логи. Схема стандартая сервисы пишут в логстэш , логстэш передает в эластик, Кибана отображает логи. Проблема появляется когда один из сервисов перезапускается ...
Sergey's user avatar
  • 51
0 голосов
1 ответ
112 показов

Стоит ли использовать ELK только ради логов?

Проект достаточно крупный. Ведется лог real-time интеграции, служб доставки и платежей. На текущий момент логи пишутся в файлы. Стоит ли для этого использовать elastic stack ? Т.к. логи у нас пишутся ...
3214234's user avatar
  • 59
0 голосов
1 ответ
76 показов

Logstash как правильно написать фильтр?

Подскажите как правильно распарсить Имеем лог Sat Oct 29 10:10:10 2019, src=node1, dst=node2, unq-id=123456, ........ Как правильно распарить дату и разобрать по индексам ключ значение не всё поля ...
Slawka's user avatar
  • 47
0 голосов
1 ответ
118 показов

Logstash Grok распарсить строку лога

Подскажите, пожалуйста, как распарсить такой формат. Не могу понять, как указать квадратные скобки и обычный текст. [lkb2b-adapter,89b207d068d3d6eb,1d0ae20fe29a2ba5,false] 1 --- [nio-8080-exec-1] ...
Ivan Vovk's user avatar
  • 2,191
0 голосов
1 ответ
90 показов

elasticsearch подключить 2 ноды для сбора логов

Подскажите, как правильно подключить 2 сервера с filebeat, которые отправляют данные в logstash, а тот уже в свою очередь в elasticsearch. Я установил на серверах filebeat. В конфиге указал пути, с ...
Ivan Vovk's user avatar
  • 2,191
0 голосов
1 ответ
166 показов

Kibana меняеть временную зону

Принимаю данные через xml фильтр все даты Logstash принимает все правильно но когда дело доходит до Kibana он меняеть временную зону Мой config для Logstash input { http_poller { urls => { ...
NNNAAA's user avatar
  • 13
0 голосов
1 ответ
248 показов

Docker контейнер с ELK после запуска сразу останавливается

На сервере стоит portainer.io, я туда установил контейнер с ELK https://hub.docker.com/r/sebp/elk/ , но он после запуска останавливает секунд через 10. В логах есть что-то оп поводу нехватки ...
devoid's user avatar
  • 91
1 голос
1 ответ
166 показов

ELK Stack - Parse message eset

Получаю syslog из eset, в поле message вся информация которая нужно парсить и создать отделныйе филды, Написал grok который работает в grokdebuger кибаны: подскажыте пожалуйста где я ошыбся. Пример ...
Բագրատ Գալստյան's user avatar
0 голосов
0 ответов
394 показа

Winlogbeat or Filebeat для отправки текстовых логов в Logstash

Всем привет, решили централизовать сбор логов, используя связку ELK, все логи с линукса без проблем отправляются с помощью filebeat, и абсолютно нормально обрабатываются и отображаются в elasticsearch....
Сергей Крылов's user avatar
0 голосов
1 ответ
41 показ

Как избавиться от сохранения старых версий документов в Elasticsearch?

Пользуемся Logstash для синхронизации с БД MySQL. Крон стоит , условно, на каждые 5 секунд (пока что), каждый раз при синхронизации, elastic создает новую версию документа, и получается так что он ...
Mully's user avatar
  • 1,218
0 голосов
0 ответов
130 показов

Logstash не принимает данные из XML файла

XMLфайл <?xml version="1.0" encoding="UTF-8"?> -<Documents xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns="http://localhost/...
NNNAAA's user avatar
  • 13
0 голосов
1 ответ
135 показов

Не запускается logstash

Установил logstash по инструкции с оф сайта под windows https://www.elastic.co/guide/en/beats/libbeat/5.6/logstash-installation.html При запуске пишет, что нет main класса. В гугле везде примерно ...
Kotysh's user avatar
  • 319
0 голосов
1 ответ
670 показов

Kibana. Как настроить разные индексы для логов

Имеется стэк ELK, в который собираются логи приложений и метрик для них. В logstash настроен фильтр, который добавляет префикс для метрик: filter { if [logger_name] =~ "metrics" { kv { ...
R1zen's user avatar
  • 311
1 голос
1 ответ
2k показов

Отключить вывод некоторых логов в консоль

Имеется Spring Boot приложение, запущенное в docker-контейнере. Логирование настроено с помощью slf4j + logback. Логи приложения записываются в Logstash и одновременно с этим, выводятся на консоль ...
R1zen's user avatar
  • 311