да, перезапуск kafka-connect

Вообще для взаимодействия elasticsearch + kafka можно использовать logstash

connect

а logstash куда впихивают в этой связке? Kafka у нас в качестве буфера на случай временного простоя elastic.

Вместо Kafka-connect. Он идёт в кафку, забирает оттуда консюмером сообщения, парсит/фильтрует и тд и отправляет в еластик

Судя по https://github.com/confluentinc/kafka-connect-elasticsearch/issues/420 это вообще что-то не очень надёжное

а, не думал о таком кейсе. Посмотрю. Спасибо.

Пожалуйста. Он вроде не сложный (кейс). Конфигурируется по минимуму

посомтрите вот тут,  нужно настроить политику ретраев, в некоторых случаях до суток по дефолту может вырасти промежуток ретрая https://github.com/confluentinc/kafka-connect-elasticsearch/blob/master/src/main/java/io/confluent/connect/elasticsearch/RetryUtil.java#L81 , но я тоже за кейс предложенный @Radik_Seyfullin

спасибо

Всем привет.
Кто-то ставил кафку с керберосом через ансибл с помощью cp-ansible репы?
Они предлагают создавать по принципалу для каждой пары сервис-хост и принципала kafka еще. Это чем-то обусловлено вообще? Или в целом я могу одним spn обойтись?

это просто неочень безопасно, но если вам норм, можно попробовать с одним, если получится, ок

я игрался с керберос кафкой в HDP, там были хостовые приницпалы, как будет с одним, не знаю

Просто долго слишком получается. У нас они через заявки по одному заводятся. И там ребята не спешат совсем.

И вообще кстати не очень понял, как в кафке работает керберос. Там есть авторизация между сервисами типа зукипер - кафка брокер и есть авторизация типа пользователь - кафка? И это по-разному настраивается? Меня просто очевидно второй вариант интересует.
Или там без разбора все эти керберос-переменные добавить для второго случая?

​​#партнерскийматериал 👨‍💻 Почему Scala становится все популярнее в web-разработке?

Поговорим об этом 5 июля в OTUS на встрече с Алексеем Воронцом.

Алексей — руководитель разработки и уже 7 лет программирует на Scala. Он расскажет, какие возможности открывает этот язык, проведет обзор рынка специалистов и представит программу онлайн-курса «Scala Developer».

👉🏻 Регистрируйтесь на вебинар и проходите вступительный тест, чтобы определить, насколько сложность программы подходит вашей подготовке https://otus.pw/flYT/

Добрый день. Подскажите как на кафке ограничить входящие соединения. Была проблема на кафке , в логе to many file open и Кафка падала. При этом продусеры долбили Кафку. Лимиты файловой системы в linux поднимал до максимума

Добрый день, могу предположить, что можно уменьшить значение настройки segment.bytes (по дефолту ~1Gb) или segment.ms (по дефолту 7 дней). Знакомы с таким?

Почитаю доку

Возможно кто-то предложит лучше вариант, нужно подождать экспертного мнения 🤔

👍

Это не уменьшит лимиты если что, но кафка будет быстрее закрывать открытые логи (сегменты)