Size: a a a

2020 May 21

AE

Alexandr Emelyanov in pro.jvm
Artjom Kalita
Я видел людей которые отвечали за важный проект в  компании (и работали с начала проекта) - но при этом это проект был весьма древний и там было все написано через сервлеты и scheduled процессинг завязанный на статусах из абзы, и все попытки перейти на использование спринг контроллеров и попытка упростить поменять schedule processing на что-нибудь ивентоподобное через зайца или кафку,  уперались на жестокую блокировку с их стороны без попыток даже попрототипировать и менеджмент всега принимал их сторону. Так эти люди так у них был тайтл архитекторы четотам и в новые проекты до которых могли дотянутся навязывали свое виденье ...
вот как тут например
источник

WT

Waldemar Tsiamruk in pro.jvm
@lex_it ужасная привычка увы сформированная годами, я обычно стараюсь соблюдать эту классную практику, но автоматом пока ещё делаю так будто параллельно чату идет игра в какой нибудь ММО, извините...
источник

IS

Ivan Shirokov in pro.jvm
Всем привет. Задача мигрировать с Кафка 2.0.0 на 2.5.0. как лучше это осуществить без даунтайма. Пока мне кажется наилучший способ использовать миррор мейкер. Но вопрос в том что когда я буду переключать одну из нод приложения на новый кластер кафки не возникнет ли проблем с его консюмер группой? Или есть более правильный способ миграции?
источник

RU

Roman Ushakov in pro.jvm
Waldemar Tsiamruk
@lex_it ужасная привычка увы сформированная годами, я обычно стараюсь соблюдать эту классную практику, но автоматом пока ещё делаю так будто параллельно чату идет игра в какой нибудь ММО, извините...
+, у меня та же проблема
Особенно, когда чат с друзьями в игре реализован посредством того же самого окна чата. И форматировать сообщение довольно сложно.
источник

MM

Michael M in pro.jvm
Ivan Shirokov
Всем привет. Задача мигрировать с Кафка 2.0.0 на 2.5.0. как лучше это осуществить без даунтайма. Пока мне кажется наилучший способ использовать миррор мейкер. Но вопрос в том что когда я буду переключать одну из нод приложения на новый кластер кафки не возникнет ли проблем с его консюмер группой? Или есть более правильный способ миграции?
Проблем не должно возникнуть, просто переключай ноды по одной и дожидайся перевыборов лидера
источник

RU

Roman Ushakov in pro.jvm
Roman Ushakov
+, у меня та же проблема
Особенно, когда чат с друзьями в игре реализован посредством того же самого окна чата. И форматировать сообщение довольно сложно.
Спасает только оверлей дискорда по shift+~
Упс, сорри, это не та тема, которую стоит обсуждать здесь.
источник

IS

Ivan Shirokov in pro.jvm
Michael M
Проблем не должно возникнуть, просто переключай ноды по одной и дожидайся перевыборов лидера
Понял, буду пробовать на тесте
источник

MM

Michael M in pro.jvm
А, и никакой миррор-кластер не нужен: если у тебя изначально нечётное число нод, то кворум будет обеспечен
источник

S

Sergey in pro.jvm
Ivan Shirokov
Всем привет. Задача мигрировать с Кафка 2.0.0 на 2.5.0. как лучше это осуществить без даунтайма. Пока мне кажется наилучший способ использовать миррор мейкер. Но вопрос в том что когда я буду переключать одну из нод приложения на новый кластер кафки не возникнет ли проблем с его консюмер группой? Или есть более правильный способ миграции?
сейчас тоже этим занимаемся
если коротко, то план такой:
1. обновить сначала клиенты кафки на 2.5 и раскатать их, они норм работают со старыми брокерами
2. обновить брокеры до 2.5, есть нюанс с inter.broker.protocol.version, в доке про него написано

брокеры нужно обновлять по одной ноде: выключил, обновил, дождался синка поднятой ноды, переходишь к следующей
источник

IS

Ivan Shirokov in pro.jvm
Sergey
сейчас тоже этим занимаемся
если коротко, то план такой:
1. обновить сначала клиенты кафки на 2.5 и раскатать их, они норм работают со старыми брокерами
2. обновить брокеры до 2.5, есть нюанс с inter.broker.protocol.version, в доке про него написано

брокеры нужно обновлять по одной ноде: выключил, обновил, дождался синка поднятой ноды, переходишь к следующей
Да, клиента обновил уже. Твой способ конечно побыстрее будет. Тогда сначала такой вариант потещщу
источник

IS

Ivan Shirokov in pro.jvm
Michael M
А, и никакой миррор-кластер не нужен: если у тебя изначально нечётное число нод, то кворум будет обеспечен
3 брокера как раз
источник

MM

Michael M in pro.jvm
Да, всё получится. Для синхронизации у тебя Зукипер?
источник

IS

Ivan Shirokov in pro.jvm
Michael M
Да, всё получится. Для синхронизации у тебя Зукипер?
Да как раз хотел про зукипер спросить, его ж тоже надо обновить? Просто последний взять?
источник

S

Sergey in pro.jvm
при деплое ноды с 2.5 мы полностью виртуалку новую деплоим, т.е. папок с данными топиков, партиций у поднявшейся ноды нет

поэтому смотрим на ISR, чтобы все ноды были синкануты
kafka/bin/kafka-topics.sh --describe --zookeeper {zk host}
источник

MM

Michael M in pro.jvm
Не успел спросить:) Если Зукипер отдельным кластером - то можно оставить старый. Если он на тех же нодах, что и кафка - логичнее обновлять.
источник

IS

Ivan Shirokov in pro.jvm
Michael M
Не успел спросить:) Если Зукипер отдельным кластером - то можно оставить старый. Если он на тех же нодах, что и кафка - логичнее обновлять.
На тех же нодах
источник

MM

Michael M in pro.jvm
Обновляй, конечно.
источник

IS

Ivan Shirokov in pro.jvm
Ок)
источник

S

Sergey in pro.jvm
при отдельном кластере мы зк не обновляли, 3.4.10 норм
но если обновлять, то лучше 3.5.8, там релиз с багфиксами
источник

IS

Ivan Shirokov in pro.jvm
Спасибо за помощь, пойду играться с кафкой)
источник