SC
Не очень понял. Мы продьюсим данные в кафку небольшими порциями записей, которые потом какой то консьюмер должен записать в Клик.
Size: a a a
2019 December 13
AP
Не очень понял. Мы продьюсим данные в кафку небольшими порциями записей, которые потом какой то консьюмер должен записать в Клик.
По какому принципу вы выбираете данные для доставки в шину?
AP
Это всегда новые транзакции или это новые + изменившиеся с прошлого раза?
SC
Новые + изменившиеся с прошлого раза
AP
Т.е. условно у каждой записи на стороне CH есть "версия" и попахивает п.2
DC
Alexander Petrov
Проверено вот этими руками 🤲
если реализовать exaclty once delivery на консьюмере и продьюсере то дубликатов не будет, транзакции гарантируют это. Просто надо понять что такое exaclty once delivery оно не тривиально в реализации.
AP
Мы такой подход используем и даже с кафкой. Не ваш объём транзакций конечно, но лям+ в сутки проходит в сторону CH.
AP
если реализовать exaclty once delivery на консьюмере и продьюсере то дубликатов не будет, транзакции гарантируют это. Просто надо понять что такое exaclty once delivery оно не тривиально в реализации.
Если грамотно положить брокеры на бок, то они таки смогут. Именно это я и проверял.
DC
Alexander Petrov
Если грамотно положить брокеры на бок, то они таки смогут. Именно это я и проверял.
можно потерять данные, но нельзя задублировать
AP
Но тут надо ошибиться со степенью отказоустойчивости и админами
AP
можно потерять данные, но нельзя задублировать
Правильно написанный продюсер какраз таки этого не допустит
AP
+ настройки топика
DC
Alexander Petrov
Правильно написанный продюсер какраз таки этого не допустит
потерять в смысле -- угробить брокеры / топики - до того как консьюмер прочитал
AP
потерять в смысле -- угробить брокеры / топики - до того как консьюмер прочитал
Я рассматривал все варианты до наступления события "не смогли доставить в шину новую инфу". Подразумевалось что кластер будет утерян не полностью и через какое-то время будет поднята уцелевшая часть.
AP
Тестировал всякие штуки вплоть до выдёргивания питания и сети.
AP
Пока 4 года - полёт нормальный.
AP
Пережили вторжение админов на 3х нодах с простоем 20 сек.
AP
Один узел в итоге потеряли
AP
На 5 узлах думаю не заметили бы даже админов.
AP
Новые + изменившиеся с прошлого раза
Версионирование не очень и плохо, если ключ версионирования более или менее вменяемый.