Телеграмм чат группы proKafka страница 1926

Size: a a a

pro.kafka

2565 membersпожаловаться на группу

2021 July 14

Alex in pro.kafka

правда с апреля месяца очередной WFH поэтому на севере в Чианг Май
в отличии от БКК всё открыто

источник

08:17пожаловаться #1

Denis Pavlyuchenko in pro.kafka

спасибо за ответ

источник

08:17пожаловаться #2

Robert'); DROP TABLE... in pro.kafka

А есть какой-нибудь стандартный Prometheus экспортер для Kafka Connect, чтобы джобы мониторить? Не сами воркер ноды, а именно джобы внутри. Понятно что там REST API есть и можно напилить свой адаптер, который будет выдавать эти метрики в нужном Прометею формате, но я ведь не первый с такой задачей - может, кто-нибудь запилил уже?

источник

11:14пожаловаться #3

Mark Korzhov in pro.kafka

https://blog.rabbitmq.com/posts/2021/07/rabbitmq-streams-overview/
Завезли кафку на минималках

источник

11:19пожаловаться #4

Eugene Bosiakov in pro.kafka

клиенты только для джавы и го )

источник

11:29пожаловаться #5

Eugene Bosiakov in pro.kafka

а, пишут еще что через AMQP 0.9.1 & 1.0 можно слать

источник

11:30пожаловаться #6

Anton in pro.kafka

https://github.com/prometheus/jmx_exporter/blob/master/example_configs/kafka-connect.yml ?

GitHub

prometheus/jmx_exporter

A process for exposing JMX Beans via HTTP for Prometheus consumption - prometheus/jmx_exporter

источник

12:56пожаловаться #7

S Kirill in pro.kafka

@amkgi эмм, так какой ответ?

источник

13:06пожаловаться #8

Алексей in pro.kafka

Ответа точного у меня нет. Я после написания сообщения запустил брокеры указав только модули для слушателей без самих кред, можно посмотреть тут - https://pastebin.com/s9DH6naq

Все по-прежнему работает без проблем. Предположу, что тем самым просто объявляются модули аутентификации для указанных слушателей, видимо в доке этот момент не очень хорошо освещен.

Pastebin

listeners=BROKERS://:9091,CLIENTS://:9092,CLIENTS-NOSSL://:9093inter.broker. - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

источник

13:13пожаловаться #9

Alexander Mahov in pro.kafka

Вы ответили: Ответа точного у меня нет. Я после написания сообщения запустил брокеры указав только модули для слушателей без самих кред, можно посмотреть тут - https://pastebin.com/s9DH6naq

Все по-прежнему работает без проблем. Предположу, что тем самым просто объявляются модули аутентификации для указанных слушателей, просто в доке этот момент не очень хорошо освещен.

Pastebin

listeners=BROKERS://:9091,CLIENTS://:9092,CLIENTS-NOSSL://:9093inter.broker. - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

источник

13:13пожаловаться #10

S Kirill in pro.kafka

а ограничение доступа работает?
без авторизации, с кривой авторизацией
ACL ?

источник

13:14пожаловаться #11

Alexander Mahov in pro.kafka

Вы ответили: а ограничение доступа работает?
без авторизации, с кривой авторизацией
ACL ?

источник

13:14пожаловаться #12

Алексей in pro.kafka

Авторизация работает, все ок, клиенты пишут и читают с топиков в соответсвии их ACL, записать в чужой топик или считать тому или иному пользователю не дает из не своего топика

источник

13:15пожаловаться #13

Robert'); DROP TABLE... in pro.kafka

sticker.webp

(23.88 Кб)

источник

13:17пожаловаться #14

Vadim in pro.kafka

Он без подключения к zookeeper работает?

источник

15:27пожаловаться #15

Ildar Almakaev in pro.kafka

Да, это необязательно. Просто если подключен, то статут будет показывать

источник

16:28пожаловаться #16

Bulat in pro.kafka

Добрый день, переодически консьюмер падает с таймаутом в 5 секунд на OFFSET_COMMIT. По дебаг логам нашел, что таймаут 5сек происходит в RemoteTimeMs, то есть на подтверждении комита фолловерами.
Знаю про параметр брокера "offsets.commit.timeout.ms".
Но хотелось бы разобраться в root cause. Пока убедился что:
- CPU/RAM/Network/DiskIO проблем нет.
- Метрики "NetworkProcessor" и "RequestHandler" почти у 1
- в метриках RequestMetrics нет никаких пиков в 99.9 персентили, то есть эти случаи охватывает менее 0.01% сообщений

Посоветуйте пожалуйста в какие стороны еще можно покопать.

источник

16:48пожаловаться #17

НК

Николай Крупий... in pro.kafka

https://t.me/DE_events/169

Data engineering events

Аналитика данных от периферии до ИИ: часть 1 - NiFi & Kafka
четверг, 15 июля 2021 г.

Данный митап начинает серию встреч и демо по аналитике больших данных от периферии др ИИ на базе кластера CDP Private Cloud Base. Для демо мы выбрали сценарий импорта потоковых данных с IoT устройств с целью их a) очистки и записи в озеро данных b) обогащение потока результатом модели МО в режим реального времени и дальнейшей аналитики обогащенных данных с помощью Flink, чтобы в конце создать интерактивный дашборд на базе финальной версии потока данных.

На этом митапе мы затронем следующие темы:
- введение в Кафка & NiFi: основные понятия и архитектура;
- основные сценарии использования Кафка при работе с потоковыми данными;
- мониторинг кластеров Кафка в Streams Messaging Manager;
- репликация данных между различными кластерами Кафка с помощью Streams Replication Manager;
- как Кафка и NiFi вписываются в общую архитектуру аналитики потоковых данных.

источник

23:03пожаловаться #18

Vik Gamov in pro.kafka

Дней без нового Kafka UI - 0

источник

23:19пожаловаться #19

Vadim in pro.kafka

А есть уже нормальный ui ?)

источник

23:23пожаловаться #20