порты прослушиваются

type => syslog разве не лишний

Посмотрите логи logstash, там будет подробно написано )

на самом деле я пробовал и комментировать эту строку, чтоб получить оригинальное сообщение, так же не сработало. сейчас запустил все в одном пайплайне. с одного конфиг файла все идет, а с 2 нет(

всем привет! Есть elk стек на VM (одна нода elasticsearch), планирую сделать ее master node и добавить 3 data node. Нужно ли делать одинаковый размер хранилища на всех нодах?

хранилище меряется по наименьшему в кластере

спасибо

хорошо бы иметь 3 master eligible nodes для отказоустойчивости чтобы одна ими выбиралась мастером. Дата ноды могут быть мастерами по совместительству.

добавь одинаковые по ресурсам ноды и не выделяй роли - пусть все будут и дата-нодами, и мастерами. крайне редки кейсы, когда действительно нужно выделять отдельные мастера

Я после твоих ликбезов сейчас катаю схему 2 выделенных мастера, 3 voting_only+data_warm и 4 data_hot. Пока это показывает себя очень неплохо. Для выделенных мастеров можно поэкономить ресурсы, они там не нужны.

На ещё одном стенде столкнулся с интересной ситуацией. 3 ноды, все даты, все мастера. После остановки кластера запустить его не получилось. Нода поднимается, говорит что мастера нет и выбрать она его не может и падает :)

а что пишет в логах? что-то подобное я видел кажется. вроде там было связано с именами мастеров в конфиге - что их нужно в конфигах всюду указывать однообразно - или всюду ip, или всюду dns-имя.

я про:

node.name
network.host
cluster.initial_master_nodes (для первоначального запуска кластера)
discovery.seed_hosts

а ты не добавлял же новые ноды в cluster.initial_master_nodes ?

туда не нужно, там только мастера для первоначального сетапа кластера, последующие туда добавлять не нужно



вообще у меня при выключении ноды прям тут же меняется мастер на другую и все

посмотреть мастер можно через GET _cat/master

чтобы проверить как мастер переключается без перезапуска - я удалял его временно, мастер менялся:

POST _cluster/voting_config_exclusions/nodename

раньше у меня тоже были выделенные мастера, но инфраструктура по моим описаниям мне выделила под них виртуалки. а дата-ноды были жырные железные серваки. ну и виртуалки то помрут вместе с гипервизором, то куда-то поедут мигрировать, то еще какие-то фокусы

ну я быстро их выборсил из кластера и повесил дата-нодам и роль мастера - по мониторингам не было вообще никаких отличий от нод, которые не являлись в данный момент мастерами. надо сказать что ресурсы утилизировлись по минимуму и на мастерах-виртуалках

хотя у нас автомаппинг и в логах постоянно update_mapping и вот это вот все - мастера не нагружены при этом

но однажды мне реально довелось увидеть кейс где это было необходимо

перемещение очень больших данных (также логов), непрерывное, по hot-warm

там выбранный мастер часто был загружен полностью - в отличии от соседних нод

Везде использую fqdn. Писал именно что не может провести выборы. Было три ноды, значит для выборов нужно минимум две. Я запускаю одну, она говорит выборов нет, мастера нет, я пошла, всем пока. Сменил ей мастер на вотинг_онли и тогда она поднялась. Вторую поднял также, потом включил оставшегося мастера. Ну и вцелом пришёл к выводу что все было логично

привет! помогите пожалуйста - многие запросы за последние пару дней стали долго бежать - было несколько десятков имллисекнд, сейчас несколько секунд. И это по разным индексам. То есть сиуация каакая-то кажется что общая.
На сервере ничего особо не менялось. Новых данных очень мало.
Вчера заметила что уже места занято по около 75% на нодах - удалила старые данные - сейчас занято по 55-65%.
Также пару индексов сейчас делаю forcemerge с segments number = 1 но не думаю что это значительно повлияет - потому что и деврагментированное оно было и до этого.
По графикам в кабане на мониотринг сервере packetbeats видно значительно что возросло и максимальное и среднее время запросов.

Памяти, оперативки, процессоров хватает и с запасом. Что еще такого может быть?

очистка кэша не помогает?

это я еще не делала, только что вот сделала - помониторю может поможет ))) спасибо

подскажите кто знает создаю в кибане черз visualize
графики и визуализации,  сохраняю через save
а через неделю индекс  уже новый еластик создает
и когда пытаюсь открыть тот же сохраненный график  пишет что
Saved object is missing Could not locate that index-pattern (id
кто сталкивался с таким как поправить