согласен
сама постановка задачи и архитектура заставляет ходить каждый вечер к психотерапевту
зачем в такое вписываться

а потом 6 часов писали, 6 часов читали
зато каналы по пути заняты, диски работают, планету отапливаем

это был один из тех редких случаев когда в одной комнате были четыре phd, и три phd пытаются убедить четвертого что батч это хорошо, это оптимизация, целостность, идемпотентность (простите).. а четвертый говорит "ну зато стриминг же!" 😊

гениальное решение для контроля целостности: "мы допишем в каждое сообщение технические метаданные, из какого датасета запись, сколько их там всего и какая эта запись по номеру (!), более того мы сделаем ключ из этих технических метаданных, так что наши топики в кафке нельзя будет использовать для доступа по бизнес-ключу"

"И выбьем это все в камне"

Простите, не удержался)

Ты что, с нашими архитекторами общаешься???

Мои соболезнования

Не, они уже в Сбер ушли

Ну значит все к лучшему

Я слышал там много лишнего железа, надо его чём-то загружать

Нужно проверить кстати

В целом можно действительно пересоздавать стрим

Но я прям тут вижу у людей бед дизайн

Сори за нубство, а без стриминга батчами в Кафку не проще грузить? И вообще, это адекватный паттерн использования Кафки?

Паттерны и архитектура не висят в воздухе, они привязаны к каким-то требованиям; вопрос в том что люди хотят реализовывать так

в моем случае требование было "ну мы очень хотим", клиент заплатил много денег чтобы я их отговаривал, а потом еще чтобы это хоть как-то заставил работать - в таком случае паттерн адекватный, но я второй раз делать не буду

Ну, помимо этого же все таки существует паттерн использования инструмента. Да, конечно, мы можем забивать гвозди микроскопом, и ловить рыбу брюками, но есть же понимание, что целевое назначение у них другое, а под забивание гвоздей и рыбалку есть куда более подходящие инструменты. В этом смысле разве стриминг спарком хадупной таблицы, которая батчево грузится раз в день - это норм? А дальнейшее прокидывание этого подарка в Кафку, вместо того, чтобы, грубо, батчево загрузить это куда-то на сторону клиента/дать доступ по jdbc к реплике/выгрузить файлы в какое-то файловое хранилище?

тебе бы барин в крупный энтерпрайз, хотя бы телеком
вот там бы ты впечатал себе рукувлицо )

15 млн раз сделать рест апи запрос вместо обмена цсвшчкой - да пожалуйста )