MA
Size: a a a
2018 May 04
A
тем же логсташем можно срезать маркеры в момент output-а в эластик, если вам эти данные совсем бесполезны
ойойой, а можно с этого момента поподробнее?
Если бы я мог удалить этот идентификатор перед записью в индекс, было бы вообще круто.
Но как мне казалось, я не могу на этапе filter удалить поле которое использую для составления имени индекса
Если бы я мог удалить этот идентификатор перед записью в индекс, было бы вообще круто.
Но как мне казалось, я не могу на этапе filter удалить поле которое использую для составления имени индекса
MA
ойойой, а можно с этого момента поподробнее?
Если бы я мог удалить этот идентификатор перед записью в индекс, было бы вообще круто.
Но как мне казалось, я не могу на этапе filter удалить поле которое использую для составления имени индекса
Если бы я мог удалить этот идентификатор перед записью в индекс, было бы вообще круто.
Но как мне казалось, я не могу на этапе filter удалить поле которое использую для составления имени индекса
@pullmix поделись примерами реврайта одной из сущностей евента
A
2018 May 07
MP
output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "%{app}-%{host}-%{+YYYY.MM.dd}"
}
}вот тут я использую %{app}, но в данных индекса мне эта переменная нафиг не нужна по сути. Могу я как то ее удалить из месседжа, но сохранить возможность использовать ее в конфиге?
использовать в конфиге именно в секции output ?
A
использовать в конфиге именно в секции output ?
Да, мне эта переменная нужна только в имени индекса.
MP
тогда увы, но на этом этапе уже обрезать нельзя
MP
@rheinx, можешь подробнее описать почему появилась надобность в названии индекса использовать переменную app ? У меня достаточно огромный конфиг логсташа и много input и output, но с таким кейсом как у вас не сталкивался. ИНтересно чузнать ем он обословлен
A
@rheinx, можешь подробнее описать почему появилась надобность в названии индекса использовать переменную app ? У меня достаточно огромный конфиг логсташа и много input и output, но с таким кейсом как у вас не сталкивался. ИНтересно чузнать ем он обословлен
Есть файлбит, который качает 2 типа логов с одного и того же сервера. Распределять по output'ам, как я понял, он не умеет. В итоге разруливаю разброс по индексам на logstash. Для этого и использую переменную $app которая прописывается еще на filebeat
MP
@rheinx, т. Е из файлбита оутпутишь в логсташ, а из логсташ уже в эластик?
A
@rheinx, т. Е из файлбита оутпутишь в логсташ, а из логсташ уже в эластик?
да
MP
к сожалению, тогда получается вариантов других нет при такой органзации
2018 May 08
R
Привет всем!
Документ с несколькими полями с датой.
Как определить дельту времени в часах, например, между несколькими датами в этом документе?
Даты могут быть разных годов, т.е. нужно от более старшей даты минусовать вторую.
Документ с несколькими полями с датой.
Как определить дельту времени в часах, например, между несколькими датами в этом документе?
Даты могут быть разных годов, т.е. нужно от более старшей даты минусовать вторую.
2018 May 10
SM
Доброго дня. Есть задача менять содержимое поля @timestamp. Время приходящее в пакете очень сильно неверное. Date, как я понял, позволяет только менять формат. Как мне ставить время получения пакета?
MP
Доброго дня. Есть задача менять содержимое поля @timestamp. Время приходящее в пакете очень сильно неверное. Date, как я понял, позволяет только менять формат. Как мне ставить время получения пакета?
Привет. Это все та же задачка с нетфло?
SM
Ага. Я решил делать через mutate, но откуда то надо реальное время брать.
MP
а ты конфиг логсташа вытащил из модуля и внедрил в conf.d логсташа?\