Вопросы с меткой [logstash]
Руководство по использованию метки logstash отсутствует.
28
вопросов
0
голосов
0
ответов
14
показов
Logstash отмена drop
Можно ли отменить drop в логсташ если он уже применяется?
Пример:
filter {
if [kubernetes][labels][app] =~ /^dr-.*/ {
if [level] == "DEBUG" { drop {} } #Дроп во всех индексах
...
0
голосов
0
ответов
14
показов
Не вставляются данные в elasticsearch пока не удалишь старые индексы. В чем может быть причина?
Использую для логирования своих сервисов ELK. В один прекрасный момент перестали сохраняться логи в эластике...Удалил несколько старых индексов и записи снова начали сохраняться. Места на диске полно. ...
0
голосов
0
ответов
23
показа
logstash останавливает elasticsearch
После запуска logstash останавливается elasticsearch. Если logstash не запускать то elasticsearch и kibana работают и я захожу на веб интерфейс кибаны.
Пробовал logstash начисто удалить и установить ...
0
голосов
0
ответов
19
показов
Logstash - последовательная загрузка данных из разных источников
Подскажите пожалуйста, если у меня есть input секция в logstash, гдя я считываю данные из двух разных источников, то как мне сделать, чтобы данные считывались по порядку: сначала загружались данные из ...
0
голосов
0
ответов
22
показа
Logstash parsing logs with key-value Laravel/WordPress/Nginx
Всем привет,
Есть задача формализировать логи с NGinx/Laravel/PHP/MySQL через logstash, что-би они правильно парсились (не одним меседжом, а несколько key-value).
Здесь больше проблема в самом ...
0
голосов
0
ответов
24
показа
Logstash - выполнение очереди конвееров по расписанию
Возможно кто-нибудь сталкивался с такой задачей:
как сделать так, чтобы конвееры запускались по очереди (сначала test_1, за ним test_2, потом test_3) каждый час?
В pipelines.yml определены несколько ...
1
голос
0
ответов
40
показов
Ошибка при выгрузке данных из PostgresQL в Elasticsearch через logstash
Подскажите, пожалуйста, может кто сталкивался с такой проблемой:
при выгрузке данных из БД в elasticsearch вылетает ошибка
[ERROR] 2022-10-31 16:02:14.628 [[main]>worker1] elasticsearch - ...
0
голосов
0
ответов
17
показов
Заставить logstash отправлять только оригинальную строку
Необходимо заставить logstash 7.17 отправлять в syslog сервер только оригинальную строку из лога, без дополнительных полей. Путем гугления убрал почти все лишние поля, но некоторые остались (на скрине ...
0
голосов
0
ответов
45
показов
Настройка fluentd для сбора логов в Kubernetes из spring-boot приложений
Имею такую настройку logback в spring
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<appender class="ch.qos.logback.core.ConsoleAppender" name=...
1
голос
1
ответ
70
показов
Как прописать или/или в grok(logstash)?
Есть вот такой лог:
<30>Jun 8 16:47:02 oem-virtual-machine dbus-daemon[668]: [system] Successfully activated service 'org.freedesktop.nm_dispatcher'
Пытаюсь сделать вот что:
1)Если есть слово ...
0
голосов
0
ответов
57
показов
Некоторые строчки лога не записываются в Kibana через Logstash
Коллеги, такой вопрос.
После полной настройки ELK решил проверить, на сколько целостно Logstash записывает и отправляет логи.
Дело в том, что я пробую парсить обычный лог, одно сервиса.
Там получается ...
0
голосов
1
ответ
112
показов
Файл конфигурации logstash
Всем привет, подскажите будет ли корректен данный код:
if [type] == "" or [type] == "" or [type] == ""
Если нет, то какие операторы перечисления можно использовать в ...
0
голосов
0
ответов
86
показов
Grok filter and logstash configuration
Есть журнал 2-х видов:
1.sshd: d.kuprevich@pts/0/79512/1012 124.25 111.561
2.74.205.155.180: 52472-76.121.32.65: 443/0/0 1.4234 11.4315
В первом случае после sshd: пробел
Вот конфигурация с https://...
0
голосов
1
ответ
125
показов
Создание запроса в Elasticsearch API
Необходимо выполнить запрос в Elasticsearch за определенный период с определенным параметром ключ:значение. Делаю так:
"query": {
"range": {
"@...
0
голосов
0
ответов
151
показ
Почему после рестарта сервиса Elk перестает писать логи?
Имеется стэк ELK в него сервисы пишут логи. Схема стандартая сервисы пишут в логстэш , логстэш передает в эластик, Кибана отображает логи.
Проблема появляется когда один из сервисов перезапускается ...
0
голосов
1
ответ
112
показов
Стоит ли использовать ELK только ради логов?
Проект достаточно крупный. Ведется лог real-time интеграции, служб доставки и платежей.
На текущий момент логи пишутся в файлы. Стоит ли для этого использовать elastic stack ?
Т.к. логи у нас пишутся ...
0
голосов
1
ответ
76
показов
Logstash как правильно написать фильтр?
Подскажите как правильно распарсить
Имеем лог
Sat Oct 29 10:10:10 2019, src=node1, dst=node2, unq-id=123456, ........
Как правильно распарить дату и разобрать по индексам ключ значение не всё поля ...
0
голосов
1
ответ
118
показов
Logstash Grok распарсить строку лога
Подскажите, пожалуйста, как распарсить такой формат. Не могу понять, как указать квадратные скобки и обычный текст.
[lkb2b-adapter,89b207d068d3d6eb,1d0ae20fe29a2ba5,false] 1 --- [nio-8080-exec-1] ...
0
голосов
1
ответ
90
показов
elasticsearch подключить 2 ноды для сбора логов
Подскажите, как правильно подключить 2 сервера с filebeat, которые отправляют данные в logstash, а тот уже в свою очередь в elasticsearch.
Я установил на серверах filebeat. В конфиге указал пути, с ...
0
голосов
1
ответ
166
показов
Kibana меняеть временную зону
Принимаю данные через xml фильтр все даты Logstash принимает все правильно но когда дело доходит до Kibana он меняеть временную зону
Мой config для Logstash
input {
http_poller {
urls => {
...
0
голосов
1
ответ
248
показов
Docker контейнер с ELK после запуска сразу останавливается
На сервере стоит portainer.io, я туда установил контейнер с ELK https://hub.docker.com/r/sebp/elk/ , но он после запуска останавливает секунд через 10. В логах есть что-то оп поводу нехватки ...
1
голос
1
ответ
166
показов
ELK Stack - Parse message eset
Получаю syslog из eset, в поле message вся информация которая нужно парсить и создать отделныйе филды, Написал grok который работает в grokdebuger кибаны:
подскажыте пожалуйста где я ошыбся.
Пример ...
0
голосов
0
ответов
394
показа
Winlogbeat or Filebeat для отправки текстовых логов в Logstash
Всем привет, решили централизовать сбор логов, используя связку ELK, все логи с линукса без проблем отправляются с помощью filebeat, и абсолютно нормально обрабатываются и отображаются в elasticsearch....
0
голосов
1
ответ
41
показ
Как избавиться от сохранения старых версий документов в Elasticsearch?
Пользуемся Logstash для синхронизации с БД MySQL. Крон стоит , условно, на каждые 5 секунд (пока что), каждый раз при синхронизации, elastic создает новую версию документа, и получается так что он ...
0
голосов
0
ответов
130
показов
Logstash не принимает данные из XML файла
XMLфайл
<?xml version="1.0" encoding="UTF-8"?>
-<Documents xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns="http://localhost/...
0
голосов
1
ответ
135
показов
Не запускается logstash
Установил logstash по инструкции с оф сайта под windows https://www.elastic.co/guide/en/beats/libbeat/5.6/logstash-installation.html
При запуске пишет, что нет main класса.
В гугле везде примерно ...
0
голосов
1
ответ
670
показов
Kibana. Как настроить разные индексы для логов
Имеется стэк ELK, в который собираются логи приложений и метрик для них. В logstash настроен фильтр, который добавляет префикс для метрик:
filter {
if [logger_name] =~ "metrics" {
kv {
...
1
голос
1
ответ
2k
показов
Отключить вывод некоторых логов в консоль
Имеется Spring Boot приложение, запущенное в docker-контейнере. Логирование настроено с помощью slf4j + logback. Логи приложения записываются в Logstash и одновременно с этим, выводятся на консоль ...