Size: a a a

2019 October 01

MP

Mike Pulman in E.L.K.
Александр Крыжановский
просто туда поступает каждый день не очень много инфы
индексы однотипные, там логи сквида, каждый день - один индекс
это поулчается, индексы дней за 10 можн окак-т осгруппировать?
Конечно. Сделай понедельные индексы или даже помесячные
источник

АК

Александр Крыжановский in E.L.K.
для этого достаточно  просто поправить паттерн  даты в аутпуте?
источник

АК

Александр Крыжановский in E.L.K.
и возможно ли сгруппировать уже существующие индексы?
источник

MP

Mike Pulman in E.L.K.
Александр Крыжановский
просто туда поступает каждый день не очень много инфы
индексы однотипные, там логи сквида, каждый день - один индекс
это поулчается, индексы дней за 10 можн окак-т осгруппировать?
В идеале заюзать index lifecycle management и нарезать по размеру точном. Но я не помню есть ли эта фича в бэйзик лицухе, во вторых там все не просто настраивается. Так что совет выше для твоего размера кластера вполне попадет
источник

MP

Mike Pulman in E.L.K.
Александр Крыжановский
для этого достаточно  просто поправить паттерн  даты в аутпуте?
Да
источник

MP

Mike Pulman in E.L.K.
Александр Крыжановский
и возможно ли сгруппировать уже существующие индексы?
Да. Гугли операцию reidex
источник

MP

Mike Pulman in E.L.K.
Mike Pulman
Да. Гугли операцию reidex
Или тем же логсташем перегони
источник

D

Dmitriy in E.L.K.
возникает вопрос - почему возвращается ошибка от кибаны? подробности есть?
источник

D

Dmitriy in E.L.K.
просто уже ловил ошибки на кибане, 500 может вываливаться из-за локальных ошибок, например браузеру не хватает памяти. по моему лучше разобраться с ней - включи логирование, смотри на чем засыпается. так же были траблы в свое время с индексом .kibana
источник

MP

Mike Pulman in E.L.K.
Dmitriy
просто уже ловил ошибки на кибане, 500 может вываливаться из-за локальных ошибок, например браузеру не хватает памяти. по моему лучше разобраться с ней - включи логирование, смотри на чем засыпается. так же были траблы в свое время с индексом .kibana
ты почитай выше на какой у него хилой тачке, сколько всего крутится и какой объем кластера. Это не может жить все нормально в таком виде - факт.
источник

АК

Александр Крыжановский in E.L.K.
спасибо за советы
это выглядит как - пользуешься, переходишь много раз между разделаи - и за 10 минут вылезет 500, обновил страницу - нормально
источник

D

Dmitriy in E.L.K.
не факт, нам тоже железо зажимают, справляемся)
источник

MP

Mike Pulman in E.L.K.
Dmitriy
не факт, нам тоже железо зажимают, справляемся)
всем его зажимают, но конфиг у нашего коллеги, все же чересчур сжатый
источник

D

Dmitriy in E.L.K.
Александр Крыжановский
спасибо за советы
это выглядит как - пользуешься, переходишь много раз между разделаи - и за 10 минут вылезет 500, обновил страницу - нормально
кури логи кибаны со стороны сервера.
источник

MP

Mike Pulman in E.L.K.
Прикинь даже по хипсайзам - эластик с 1Тб данными, два логсташа, кибана....
источник

MP

Mike Pulman in E.L.K.
и еще рейт входящий 4к в секунду
источник

D

Dmitriy in E.L.K.
Mike Pulman
Прикинь даже по хипсайзам - эластик с 1Тб данными, два логсташа, кибана....
реально elk тянет больше, чем в рекомендациях. у меня весь препрод на одном эластике - 4 ядра, 12 Гигов оп. Данных - 3 ТБ, рейт средний порядка 7, в пике до 15, когда прометей бекапится. индексов чуть больше 1к, правда по 1 шарде. Кибана на том же хосте. Логстеш правда отдельно, 2 ядра, 4 гига
источник

MP

Mike Pulman in E.L.K.
Dmitriy
реально elk тянет больше, чем в рекомендациях. у меня весь препрод на одном эластике - 4 ядра, 12 Гигов оп. Данных - 3 ТБ, рейт средний порядка 7, в пике до 15, когда прометей бекапится. индексов чуть больше 1к, правда по 1 шарде. Кибана на том же хосте. Логстеш правда отдельно, 2 ядра, 4 гига
Интересный конфиг! Но ключевое тут то что логсташг отдельно. Логсташ много жрет, тем более с таким рейтом.
источник

MP

Mike Pulman in E.L.K.
Но вообще твой конфиг похож на рекордный из тех что я видел! Dmitriy 👍
источник

D

Dmitriy in E.L.K.
пайплайны смотреть надо. не так уж и много
источник