d
Но я ни один менеджер на такое не тестировал
Size: a a a
2021 June 27
N
Мне хочется понять возможно ли такое в принципе. Что это му мешает , если это не возможно
VS
там вроде все же ограничено количество queue, зато неограничено количество exchanges, т.е. писать можно логически в миллион топиков, но слушать наверное не получится
2021 June 28
AS
Всем привет!
Возник вопрос почему не работает окно и reduce в kafka streams, может каких настроек не хватает.
Проблема в следующем, я ожидаю что окно соберет все сообщения и сгруппирует по нужному мне полю из объекта, а reduce уже отбросит лишнее и в foreach попадут только нужные записи, но почему то в foreach летит все что прилетело в топик.
Вот пример
input
.peek { key, value ->
logger.debug { }
}
.groupBy(
{ _, value -> value.requestId.toString() },
withSerializer
)
.windowedBy(TimeWindows.of(Duration.ofMinute(1)).grace(Duration.ZERO))
.reduce(
{ first, second ->
if (first > second) {
return@reduce first
} else {
return@reduce second
}
}, withMaterializer
)
.toStream()
.foreach {}
Возник вопрос почему не работает окно и reduce в kafka streams, может каких настроек не хватает.
Проблема в следующем, я ожидаю что окно соберет все сообщения и сгруппирует по нужному мне полю из объекта, а reduce уже отбросит лишнее и в foreach попадут только нужные записи, но почему то в foreach летит все что прилетело в топик.
Вот пример
input
.peek { key, value ->
logger.debug { }
}
.groupBy(
{ _, value -> value.requestId.toString() },
withSerializer
)
.windowedBy(TimeWindows.of(Duration.ofMinute(1)).grace(Duration.ZERO))
.reduce(
{ first, second ->
if (first > second) {
return@reduce first
} else {
return@reduce second
}
}, withMaterializer
)
.toStream()
.foreach {}
AS
между сообщениями интервал примерно 1 секунда
IS
Всем привет, кто-нибудь встречался с IllegalMonitorStateException, который вылетает из продюсера джавового клиента kafka-clients 2.6.0? Вылетает редко, но полностью ломает продюсер, только перезапуск лечит. Летит из SystemTime.java 55 строка, несмотря на все синхронайзд блоки
IS
Да был)
IS
До сих пор вылетает)
IS
Вдруг кто нашел решение
2021 June 29
СХ
@gamussa а можно для слепых, https://docs.confluent.io/platform/current/installation/installing_cp/rhel-centos.html это для платной, а для ce пакетов нет? только tar?
Cʕ
СХ
curl -O http://packages.confluent.io/archive/6.2/confluent-community-6.2.0.zip
не слишком разница?
не слишком разница?
СХ
то есть в тар 6,2, а через yum 2.13&
СХ
СХ
ок