В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

2553 membersпожаловаться на группу
2021 July 09

А

Александр in pro.kafka
Это верно, я пытался делать следующее, править эти параметры и заходил кондуктором в группу консюмеров и смотрел у них настройки и там ничего к сожалению не менялось... Может конечно я чтото не то делаю и кондуктор не показывает реальных параметров... Но вроде находил все параметры..
источник
13:09пожаловаться#1

А

Александр in pro.kafka
автокомит тот же, пытался отключать чтобы можно было рулить вручную комитами. та же проблема. или даже в мануал режиме параметры max_poll_interval_ms актуальны?
источник
13:11пожаловаться#2

IK

Ilya Kaznacheev🥤 in pro.kafka
Знакомо
источник
13:20пожаловаться#3

ЮХ

Юра Ходырев... in pro.kafka
Надо разбираться,  пока что пожар на работе
источник
13:24пожаловаться#4

N

Nick in pro.kafka
Настройки консумера относятся к инстансу консумера, а не к группе и нигде кроме пропертей инициализации консумера фигурировать не должны
источник
14:53пожаловаться#5

AR

Alexander Ryzhenko in pro.kafka
попробуйте увелиить значение конфига консюмера max.poll.interval.ms max.poll.interval.ms
Если между вызовами poll() проходит больше чем max.poll.interval.msmax.poll.interval.ms времени, координатор выкидывает консюмер из группы и граппа переходит в имбалансное состояние.

Либо же как писали выше - уменьшить max.poll.records, чтобы брать в poll меньше записей и обрабатывать их быстрее
источник
15:03пожаловаться#6

VG

Vik Gamov in pro.kafka
А почему я извиняюсь не взять Kafla connect? Есть коннекторы бесплатные и для MySQL и монги. Зачем велосипед с проблемами если задача решается за два часа?
источник
16:16пожаловаться#7

А

Александр in pro.kafka
Имеете ввиду напрямую? Проблема в том что мне нужно стянуть данные в одном виде, а в монге они агрегированы совсем иначе, структура сильно поменялась в проекте и переезд на монгу идет.
И еще я не слышал если честно о коннекторе в рамках подобной задачи, как вариант дублирования или дозалива данных да его можно использовать, но разве для миграции описанной выше, он подойдёт?
источник
16:21пожаловаться#8

VG

Vik Gamov in pro.kafka
Перекачиваешь данные из MySQLв кафку, агрегируешь ksqlDB, и дальше в монгу коннектором.
источник
16:23пожаловаться#9

А

Александр in pro.kafka
А изменять данные там тоже можно? Типы данных тоже поменялись
Данные в чистом виде без изменений вообще не льются, и да, некоторые данные это reference объекты как в этом случае быть?
источник
17:22пожаловаться#10

SK

S Kirill in pro.kafka
Привет
подскажите как  принято делать в апач.кафе авторизацию?
ACL
RBAC

задача разделить доступ юзером по топикам
jaas
ldap
как лучше удобнее, может инструменты есть готовые (бесплатные)
источник
19:55пожаловаться#11

AS

Alexey Smirnov in pro.kafka
поделитесь опытом Change Data Capture: kafka connect или самописное? Debezium embedded кто-нибудь использует?
источник
19:59пожаловаться#12

SD

Stanislav Deviatov in pro.kafka
Проще ACL и если нужно, то можно прикрутить IdM.
С RBAC (OAuth Bearer) сложнее в поддержке, когда у вас не только Java-клиенты, да и  runtime зависимость на сервер авторизации
источник
20:16пожаловаться#13

SK

S Kirill in pro.kafka
А реализации есть?
Я пока читал видел kafka-acls с хранением в зукипере
источник
22:07пожаловаться#14

SD

Stanislav Deviatov in pro.kafka
В Kafka авторизационный механизм pluggable и из коробки только ACL в Zookeeper.
Есть реализация от Strimzi, но вероятно будут проблемы со сбором метрик (например, Kafka consumer lag), т.к. эти тулы обычно не на Java написаны (чаще Go), а в библиотеках для не-Java похоже нет реализации KIP-368
GitHub
strimzi/strimzi-kafka-oauth
OAuth2 support for Apache Kafka to work with many OAuth2 authorization servers - strimzi/strimzi-kafka-oauth
источник
22:27пожаловаться#15

SK

S Kirill in pro.kafka
Так может проще openldap а авторизацию в него отправить?
источник
22:38пожаловаться#16

SK

S Kirill in pro.kafka
Я просто чуть выше нуля в кафке
источник
22:38пожаловаться#17

SK

S Kirill in pro.kafka
У акл в зукипере есть какие то ограничения/проблемы?
Или для простых вещей самое то?
источник
22:40пожаловаться#18

SD

Stanislav Deviatov in pro.kafka
почитайне соответствующий раздел в официальной документации https://kafka.apache.org/documentation/#security_overview
На прямую к брокеру не подключить авторизацию через ldap, если только свой авторизатор не напишите.
Apache Kafka
Apache Kafka: A Distributed Streaming Platform.
источник
22:48пожаловаться#19

SD

Stanislav Deviatov in pro.kafka
Можно с использованием SASL/OAUTHBEARER + strimzi через KeyCloak, который будет смотреть на ldap, но действительно вам нужны две дополнительные потенциальные точки отказа?
источник
22:54пожаловаться#20