PD
Буфер приходится копить в приложении. По одной записи в кафку отправлять логи - не очень разумно (и непроизводительно)
Size: a a a
2021 July 05
IK
“летит” в данном контексте, это характер записи. И там и там это аппенд чего-то в конец, с чем и локальный диск, и кафка хорошо справляются
2021 July 06
A
Подскажите как принудительно скомпактить топик с cleanup.policy=compact. Помимо короткого retention.ms я так понимаю нужно еще log.segment.bytes задать. Но мне нужно зачистить сравнительно свежие сообщения. Можно ли размер сегмента задать в районе 100байт?
PD
Так делать можно, просто дорого по ресурсам. И нужно оценить стоимость поддержки и железа и насколько эта стоимость оправдана.
PD
А зачем две кафки? И как из кафки будет доставка в ES?
EB
Не, схема не покатит
EB
Думаю, надо третью кафку
EB
Без трёх кафок не надежность, а одно название
PD
И какой поток данных и требования по надёжности?
PD
В смысле 'в интернете'?
PD
Вообще лучше всего с этим всем пойти из этого чатика в чатик https://t.me/ru_logs