а где в discovery (kibana) можно посмотреть с какого файла идет получение информации?

В документе вроде есть соответствующий тег

В каждом документе

Это поле tag?

по моему это _index

поле назыааетсч

нет

у тебя кто логи собирает? бит? логстеш?

Так это поле с именем индекса

Бит

source

это так поле и называется? оно не вложенное?

да

спасибо

Цель доклада: рассказать о подводных камнях и архитектуре кластера Elasticsearch для хранения логов в особо крупном объёме.

В докладе я расскажу о том, как в рамках проекта «Одноклассники» мы организовывали хранение и доступ к логам для разработчиков.

Изначально к сервису предъявлялись высокие требования. Все понимали, что объёмы обрабатываемых данных будут большими, также нужна была отказоустойчивость, а пиковая нагрузка могла возрастать до 2 млн строк в секунду. По этим причинам задача оказалась совершенно нетривиальной, с большим содержанием "подводных камней" и пикантных особенностей.

Я изложу историю нашего «извилистого» пути к решению этой задачи, а также расскажу, к какой архитектуре кластера мы в итоге пришли и какие решения, кажущиеся на первый взгляд правильными, "стреляли в ногу" в самый неожиданный момент.

У нас было 4 дата-центра, 500 инстансов под эластик, 200Тб+ данных, до 2 млн строк в секунду в пике и требования 100% аптайма сервиса во что бы то ни стало.

Несколько интересных слайдов: