Size: a a a

2021 July 07

L

L.thm in pro.kafka
До 10 человек по 25 баксов при годовой подписке. Вроде совсем не дорого
источник

VS

V 🏴‍☠️ S in pro.kafka
Привет. Очень понравился UI, но есть проблема - криво отображаются сообщения, которые должны декодироваться через schema registry
источник

IA

Ildar Almakaev in pro.kafka
Ок, спасибо за feedback) Мы пофиксили это и скоро выкатим новый релиз
источник

AR

Alexander Ryzhenko in pro.kafka
Подскажите, если топик compacted, то на него распространется retention.ms / retention.bytes ?

В топике сообщения чистятся (по compact, оставлены тольео последние версии), но есть и старые сообщения, которые уже старше retention.ms
источник

NR

Nikita Ryanov in pro.kafka
Нет, по сути эти настройки для compact топика не применимы в том виде, в котором применимы для delete.
Если нужно удалять старые сообщения даже для compacted, то есть вариант
log.cleanup.policy=compact,delete -- тогда будут применены оба механизма, но это довольно специфичное ршение (обычно используют, если количество уникальных ключей неограниченно + в kafka streams в каких-то случаях такие топики создаются)
источник

AR

Alexander Ryzhenko in pro.kafka
спасибо, понял
источник

s

salvoroni in pro.kafka
Добрый день
Никто не знает как можно стримить изменения данных в базах данных на постгресе через кафку? Debezium не подходит тк его нельзя настроить на yandex cloud + yandex cloud не поддерживает нужные плагины для постгреса
источник

s

salvoroni in pro.kafka
Вообще есть ли что-то для постгреса для этого кроме debezium?
источник

SB

Sergey Bezrukov in pro.kafka
Если вам для репликации в другую БД - то посмотрите https://www.symmetricds.org/
(к кафке это отношения не имеет)
источник

s

salvoroni in pro.kafka
не репликация(
но посмотрю, спасибо
источник

V

Vadim in pro.kafka
Если не поддерживается logical decoding, то репликацию не организовать никак. По идее, плагины декодинга есть из коробки, начиная с версии 9.4 по-моему, странно что в yandex их нет.
источник

WD

Web Dev in pro.kafka
привет всем, подскажите пожалуйста

я что-то с кафкой подвис, у меня в топик ложатся сообщения, а в итоге клиенты их не потребляют

партиции сами автоматом разбились между потребителями(клиентами)  коректно, но это ничего, к сожалению, не дало.

12 партиций, 8 клиентов, одна группа, многие клиенты взяли по 2 партиции автоматом

если я подключаю только 1 клиент, то он начинает потреблять, но как запускаю все, ни один не потребляет сообщения
источник

WD

Web Dev in pro.kafka
может я изначально не верно раскладываю сообщения? я кладу в кафку без явного указания каких-то определенных партиций, может быть дело в продюсере моем?
источник

WD

Web Dev in pro.kafka
Буду благодарен за любые советы
источник

AV

Alexander Vaskin in pro.kafka
managed postgres там вроде как не позволяет этим управлять
источник

SA

Sergey Andreyev in pro.kafka
Звучит правильно.
Какие-нибудь ошибки на потребителях есть? Сообщения к потребителям совсем не доходят?
источник

WD

Web Dev in pro.kafka
тишина совсем там, как будто ждут сообщения а их нет и нет. Ошибок нет
источник

SA

Sergey Andreyev in pro.kafka
Всех клиентов проверяешь? Может все сообщения идут в одну партицию, а проверяешь не все клиенты?
источник

SA

Sergey Andreyev in pro.kafka
Можно оффсеты консьюмер группы глянуть - там по партициям посмотреть можно оффсеты и лаг
источник

WD

Web Dev in pro.kafka
хм.. а чтобы все работало не сделать? Проверял выборочно в рандоме
источник