Нужны к сожалению

Те помимо счетчика вычитывать ивенты тоже нужно

Тогда ваша схема выглядит вполне рабочей. Что именно использовать для хранения счётчиков - редис, игнайт, хазелкаст или ещё какую-то imdb это надо экспериментировать. Попробуйте любую -  может локов и не случится. В интернете можно поискать сравнения разных imdb, но это все измерения сферических коней в вакууме, и на ваших данных может совсем по-другому получится.

Если данные можно выразить в виде циферок, можно взять какую-нибудь таймсериес хранилку

Но лучше возьмите кликхауз и летите в космос )

Кажется что это узконаправленная туда больше для агрегаций и статистики?

КХ как раз что угодно пережует, его хоть как логовую базу можн использовать

в пульсаре такой проблемы тоже нет) хоть сотню консьюмеров в разных потоках запускай, ничего не сломается

т.е. что в кафке так сделано - терпимо, но на мой взгляд это нельзя преподносить иначе как недостаток архитектуры, хоть и небольшой

+1

У Кафки ничего не сломается тоже

Multi-threaded Processing
The Kafka consumer is NOT thread-safe. All network I/O happens in the thread of the application making the call. It is the responsibility of the user to ensure that multi-threaded access is properly synchronized.

Кафке какая разница вообще кто что и как у неё консюмит

Хоть телнетом прокол эмулируй, причём тут реализация вообще

Кафка просто предупреждает, что если возьмёшь треды то с первой попытки точно наговнячишь, и со второй тоже наговнячишь

Конкуренты тем временем будут процессы скейлить и вашу прибыль забирать

Да что сделано то

Тут похоже путаница возникла между
- запустить N консюмеров в N потоках > "в пульсаре такой проблемы тоже нет) хоть сотню консьюмеров в разных потоках запускай"
- и использовать 1 консюмер в N потоках > "The Kafka consumer is NOT thread-safe"

Первое вполне может жить, второе, скорее всего, и у пульсара проблемы вызовет

Да, неправильно выразился, второе у пульсара проблем не вызовет - консьюмеры и продьюсеры потокобезопасные

Всем привет.
Читаю из ClickHouse в JDBC Source connector (драйвер - clickhouse-jdbc-0.2.4.jar) c incrementing mod. Вот настройки
 batch.max.rows = 100
 catalog.pattern = null
 connection.attempts = 3
 connection.backoff.ms = 10000
 connection.password = [hidden]
 connection.url = jdbc:clickhouse://<ip>:8123/any_schem
 connection.user = user
 db.timezone = Europe/Moscow
 dialect.name =
 incrementing.column.name = id
 mode = incrementing
 numeric.mapping = null
 numeric.precision.mapping = false
 poll.interval.ms = 5000
 query =
 query.suffix =
 quote.sql.identifiers = never
 schema.pattern = null
 table.blacklist = []
 table.poll.interval.ms = 60000
 table.types = [TABLE]
 table.whitelist = [table]
 tables = [default.any_schem.table]
 timestamp.column.name = []
 timestamp.delay.interval.ms = 0
 timestamp.initial = null
 topic.prefix = staging-
 validate.non.null = false
В каком месте коннектер подставляет  default схему? я же явно прописываю схему в подключении и задаю таблицу.

В итогде вместо запроса
SELECT * FROM any_schem.table WHERE any_schem.table.id > ? ORDER BY any_schem.table.id ASC
В логах ошибка на запросе
SELECT * FROM default.any_schem.table WHERE default.any_schem.table.id > ? ORDER BY default.any_schem.table.id ASC

Пробовал добавлять schema.pattern не помогает