D
Конкретно про пропажу рассказывала Оля на ок.толкс из иви. Но там скорее негарантированная доставка данных - отправили батч, кх ответил ок, данных в базе нет
Нет и не появились, или нет в момент обращения. Здесь важны нюансы.
Size: a a a
2019 June 25
A
нет и не появится
A
Нюансы все же важны - какой движок, кафка там может
AS
Alexander
Нюансы все же важны - какой движок, кафка там может
там еще с версиями kх можно упороться, они их штампуют, потом правят баги, не надо гнаться за последними
A
Конкретно про пропажу рассказывала Оля на ок.толкс из иви. Но там скорее негарантированная доставка данных - отправили батч, кх ответил ок, данных в базе нет
А можете ссылкой поделиться, не нахожу с наскока
D
В таком случае как витрина сгодится, как перманентное хранилище... ну такое.
S
Alexander
А можете ссылкой поделиться, не нахожу с наскока
не было записи митапа, и слайды не выложили - я просил.
ну и похоже здесь нет Оли
может кто из иви есть
проще наверное пойти в чатик кх и там спросить
ну и похоже здесь нет Оли
может кто из иви есть
проще наверное пойти в чатик кх и там спросить
S
данных не было в базе
GG
ну, КХ - про консистенси евенчуалли
S
касалось крупных батчей, на которые они ставили мониторинг (этовроде около 60 млн за раз)
мелочь не мониторили, поэтому что там происходит - хз
мелочь не мониторили, поэтому что там происходит - хз
A
Попробую в кх чатике разузнать, спасибо
D
ну, КХ - про консистенси евенчуалли
евенчуалли - это значит, данные появятся в течение некоего промежутка времени
GG
Обычно - да
GG
никто же КХ не использует в режиме стенделоун ноды на больших дата сетах
GG
а в кластере
GG
когда-нибудь данные должны докатиться, но это когда-нибудь может быть в бесконечности в будущем )
D
Если я правильно понимаю, то здесь они не появятся никогда без повторного вмешательства со стороны дополнительной бизнес логики.
OP
Есть способы вызвать запись broadcast переменных перед прерыванием стрима спарка ?
S
никто же КХ не использует в режиме стенделоун ноды на больших дата сетах
Зависит от величины. Большие датасеты с сжатием кх - мало у кого есть настолько большие датасеты. Вполне себе кейс
LV
Alexander
Мы кх гоняем больше года в проде, мне действительно любопытно, есть ли конкретные кейсы, когда данные пропадают или портятся, без общих отсылок
У нас он 3 года, ни разу данные не пропадали, все ок.