да там понятно, меня интересует кто в реальном мире использует для доставки логов

rsyslog - kafka - logstash - elastic

это если "рядом" а если доставка через "интернет" из не очень стабильных места

идея  в общем такая
app->syslog->kafka(single) -> mirror over internet + tls -> kafka cluster-> ES

если часто делать "ротацию" то по ресурсам не сильно дороже обычной доставки
сейчас доставка через парсинг локальных файлов

вам нужно не кафку крутить, а гарантированную доставку. Для доставки нужно использовать агенты, у них это работает из коробки

агенты чего? о чём речь

задача какая? Доставка логов через интернет?

да. если в кратце

безопасная и по возможности без потерь

"из не очень стабильных места" - классическая задача гарантированной доставки

если логов не овердохера, то rsyslog relp с tls справится отлично

овердохера = больше ядра cpu

гарантированной не будет

с виду кафка более гибкая будет в доставке, возможно управлять количеством воркеров

Здравствуйте, как правильно в кубере очистку логов настроить? Стэк opendistro (эластик) и curator для ротации. Есть около 20 индексов постоянно пишущих, у меня проблема, в том, что все упирается в 1000 шардов (падает с ошибкой maximum shards). Увиличить лимит не вариант - рано или поздно забьется. Хочется, чтобы логи не превышали фиксированный размер (например, 1гб), при этом гарантированно не исчезали, например, за последнюю неделю.  Читал это https://www.elastic.co/blog/resizing-elasticsearch-shards-for-fun-and-profit но shrink API не подходит, так как индексы разные.  Может в цикле чистить самые старые логи, пока не освободится N места на диске?

поставьте оригинальный Elastic Stack и используйте ILM Policy, как раз решает вашу задачу

в opendistro вроде есть аналог  (ISM: https://opendistro.github.io/for-elasticsearch-docs/docs/im/ism/policies/)  , я так понимаю можно задать какие-то настройки вроде min_size  min_index_age и он будет удалять старые логи сам нормально. Но у меня проблема в том, что каждый день появляется новый индекс и я бы хотел уметь ставить ограничение "сумма всех логов < N ГБ", чтобы на диск влезало на одной ноде. Вот для этого похоже надо все-таки curator использовать

коллеги, всем привет подскажите пожалуйста promtail умеет такое

labels: 
 label1: [var1,var2]

и соответственно передавать массив?

или есть какой то иной способ ему список групп передать?