SS
А то у меня access log с nginx'а а день набирает (в JSON'е конечно) 5-7ГБ, из-за чего пришлось настраивать logrotate почасовой. Который, к тому же и настроился не сразу )-:
Size: a a a
2018 September 24
S
еластик кластер, или одна нода? какой ретеншин стоит?
SS
Кластер, пока три дата-ноды + два мастера
SS
injest пока еще не понял, зачем нужны (-:
SS
Наверное >50GB/h будут нужны...
SS
С кластером, конечно, тоже пришлось помудохаться, но это сугубо из-за собственной глупости — оставил количество шардов по умолчанию (5) и были постоянно пляски шардов между нодами.
SS
Кстати, это надо бы на каждом заборе писать, что так делать не надо.
NK
Alexander Molchanov будет жить. Поприветствуем!
S
Кластер, пока три дата-ноды + два мастера
ясно, спасибо -)
S
я просто забил на еластик, когда увидел что тестовый стенд плохо переваривет поток логов всеголишь около 1.5мбайт\сек. Правда это был сингл инстанс, и не особо мощный. Поэтому интересно как народ живет.
2018 September 25
NK
@alxrem будет жить. Поприветствуем!
NK
@artempastukhov будет жить. Поприветствуем!
NK
@scor2k будет жить. Поприветствуем!
NK
@ezbiranik будет жить. Поприветствуем!
A
так что на rsyslog не гони.
Ещё б там с тестированием получше было, было бы хорошо
А так заметно, что студенческая поделка
А так заметно, что студенческая поделка
A
Ага, и парсить grep'ом, как старовер.
А в чём проблема с грепаньем логов? Уж точно интуитивнее кибаны
A
речь шла о том, что если писать в джсон то не нужно будет парсить
Ты так говоришь как будто жсон не надо будет парсить туда-обратно, как будто это какой-то бесплатный формат
S
ну фильтров никаких не нужно писать. Формат того же нжинкс лога в джсон можно менять как вздумается. Все с минимум телодвижений уходит в еластик.
A
Лично с моей точки зрения, фултекст сёрч для логов это такое, не самое полезное что можно придумать
S
я тогоже мнения.
мне еще не понравилось делать поиск по таким логам...тяжело понять что происходит. Разве что метрики строить...но ради этого сгружать логи в еластик - так себе идея.
мне еще не понравилось делать поиск по таким логам...тяжело понять что происходит. Разве что метрики строить...но ради этого сгружать логи в еластик - так себе идея.