Так он не отключен

^^

да, я решил заменить iptables firewald.

так он iptables использует

только по-своему, по поцтерингски

Коллеги, а можно ламерский вопрос?
filebeat шлет host.name как короткое имя хоста(hostname -s, если в линуксе).
А мне нужно получить fqdn агентского хоста (hostname -f ).
Это возможно?
Спасибо.

Использую Opendistro 1.13.
В Еластик пересылаю помощью td-agenta
td-agent.conf:
<source>
 @type forward
 port 24224
 tag app-name
 pos_file /var/log/td-agent/app-name.pos

<filter >
 @type record_transformer
 enable_ruby
 <record>
   hostname "#{Socket.gethostname}"
 </record>
</filter>

<match app-name>
 @type elasticsearch
 ssl_verify false
 hosts IP1,IP2
 user admin
 password ***
 port 9200
 scheme https
 logstash_format true
 logstash_prefix fluentd-app-name
 enable_ilm true
 reconnect_on_error true
 index_date_pattern "now/m{yyyy.mm}"
</match>
При создании индекса в кибане пишет: The indices which match this index pattern don't contain any time fields. Индекс создаёт но логи не выводит.
В dev-tools: GET fluentd-app-name/_search получаю "Data too large, data for [indices:data/read/search[phase/query]] would be [1056242616/1007.3mb], which is larger than the limit of [1020054732/972.7mb], real usage: [1056242248/1007.3mb], new bytes reserved: [368/368b], usages [request=0/0b, fielddata=0/0b, in_flight_requests=368/368b, accounting=78269340/74.6mb]"

ребята, привет.
возможно не по адресу... но тогда направьте в нужный чат =)
не могли бы помочь с scripted_field... увы я не силен с этим...
Собственно что нужно получить, собираю логи и мне нужно их сортировать по request_time.
создаю script field, painless, type - number, Format - Number...

скрипт такого вида подставляю
if (doc.containsKey('log_access.request_time') ) {
 return Integer.parseInt(doc['log_access.request_time'].value);
}

Когда проверяю, у меня в результате [] ничего

Если оставляю только: doc.containsKey('log_access.request_time'), то в выводе есть данные.

{
 "_id": "123123123",
 "log_access.request_time": "0.018",
 "test-request-time": [
  true
 ]

Помогите плиз составить верно скрипт.

Привет, хотел спросить, если я мне нужно сделать разделение документов по id(аккаунтов) из монги, какой маппинг я должен использовать, и маппинг ли вообще: для каждого аккаунта создавать индекс в эластике? Все что я хочу - как можно быстрее фильтровать по id в дальнейшем документы.

Разделение документов по id?

Как я понял, в маппинге надо просто для полей поставить тип keyword, этого должно быть достаточно.

Ага) Поняла) А у вас документы с популейтами есть?

Нет, просто не хочу грузить эластик лишними индексами, хотя не похоже, что он не справится с задачами, которые мы ему даем, но перед миграцией хотелось бы все же хоть что-то по настройкам подкрутить, чтобы не реиндексировать все это дело. Вот кстати я так и не понял, как трансфернуть данные нормально из монги в эластик, по итогу балком просто пихаю, в нашем случае к счастью не так много документов надо перебрать.

Я решила monstache использовать! Очень класс, но до конца не сделала конфиг хороший
Это даймон, который поднимается на отдельном инстансе, он подключается к эластику и монго
Дальше он чекает оплог (хуйня, где инфа про все обновления в инстансах бд) и закидывает это все в эластик. По сути, он как будто выполняет роль отдельного инстанса монго дб, вписывается в логику
Во время запуска передается конфиг, можно выбрать отдельные коллекции конкретной бд для синка

Читал про него, но от чтения желания использовать не появилось) Наверное в случае, когда бд забита под завязку и постоянно обновляется, все же стоит ставить какой-то синкер, надо будет попробовать что-то такое.

Кстати да, в новом API монги появились change стримы, оплоги то еще извращение, monstache сейчас может уже по стримам изменения синкать, что менее костыльно.

Ребят привет. Я в елк не шибко шарю. Надо с циски логи в вазух выгнать в общем. Гугел что-то по не очень статьи подкидывает на эту тему. Мож кто скинет ссылу на нормальную статейку?

мне одному кажется что название "вазух" как-то неприлично звучит

нет))

Я не знаю природу этого поделия, но оно хорошее