В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scala User Group

1743 membersпожаловаться на группу
2020 January 21

KS

Kirill Shelopugin in Scala User Group
🔝Ivan Popovich 🔝
вроде есть fs2-kafka от ovotech, но что из них лучше не знаю.
Я про неё. Они вынесли ее в другую организацию, видимо, чтобы не было привязано к компании. Для чего грейсйфул шатдаун: обработка каких-то событий может включать в себя изменение какого-то стейта. События не всегда имеют какой-то уникальный идентификатор для дедупликации. Соответственно, без грейсфул шатдауна остановка приложения посреди обработки события может означать некорректный стейт в результате.
источник
11:39пожаловаться#1

KS

Kirill Shelopugin in Scala User Group
В альпакке есть комбинатор для грейсфул шатдауна, позволяющий какое-то время ожидать, что все вычитанные события добрались до конца флоу. Хотелось бы чего-то похожего
источник
11:40пожаловаться#2

λ

λλ in Scala User Group
Kirill Shelopugin
Я про неё. Они вынесли ее в другую организацию, видимо, чтобы не было привязано к компании. Для чего грейсйфул шатдаун: обработка каких-то событий может включать в себя изменение какого-то стейта. События не всегда имеют какой-то уникальный идентификатор для дедупликации. Соответственно, без грейсфул шатдауна остановка приложения посреди обработки события может означать некорректный стейт в результате.
как у тебя может поменяться стейт если после поднятия приложения сообщения дочитаються оттуда где закончились
источник
11:41пожаловаться#3

λ

λλ in Scala User Group
?
источник
11:41пожаловаться#4

λ

λλ in Scala User Group
и что если у тебя лаг никогда в 0 не придет ? не понимаю зачем там грейсфул
источник
11:41пожаловаться#5

λ

λoλdog in Scala User Group
Kirill Shelopugin
Я про неё. Они вынесли ее в другую организацию, видимо, чтобы не было привязано к компании. Для чего грейсйфул шатдаун: обработка каких-то событий может включать в себя изменение какого-то стейта. События не всегда имеют какой-то уникальный идентификатор для дедупликации. Соответственно, без грейсфул шатдауна остановка приложения посреди обработки события может означать некорректный стейт в результате.
А греисфул тебе как поможет? Ну и ты же не двинешь оффсет, потом просто заново обработаешь ивент и все
источник
11:42пожаловаться#6

KS

Kirill Shelopugin in Scala User Group
λλ
как у тебя может поменяться стейт если после поднятия приложения сообщения дочитаються оттуда где закончились
Консьюмер вычитал сообщение и начал его обработку. Изменил какой-то стейт. Но закоммитить офсет не успел, произошел шатдаун приложения. Другой консьюмер подпишется на эту партицию и вычитает это сообщение, повторно изменив стейт
источник
11:42пожаловаться#7

KS

Kirill Shelopugin in Scala User Group
λoλdog
А греисфул тебе как поможет? Ну и ты же не двинешь оффсет, потом просто заново обработаешь ивент и все
Поэтому я и сказал, что дедупликация не всегда возможна, ровно как и повторная обработка
источник
11:42пожаловаться#8

λ

λoλdog in Scala User Group
Kirill Shelopugin
Консьюмер вычитал сообщение и начал его обработку. Изменил какой-то стейт. Но закоммитить офсет не успел, произошел шатдаун приложения. Другой консьюмер подпишется на эту партицию и вычитает это сообщение, повторно изменив стейт
А стеит не хранится нигде ?
источник
11:43пожаловаться#9

λ

λλ in Scala User Group
Kirill Shelopugin
Консьюмер вычитал сообщение и начал его обработку. Изменил какой-то стейт. Но закоммитить офсет не успел, произошел шатдаун приложения. Другой консьюмер подпишется на эту партицию и вычитает это сообщение, повторно изменив стейт
если ты где то меняешь стейт будь добр там же сохранять офсет того сообщения от которого пришел евент
источник
11:43пожаловаться#10

λ

λoλdog in Scala User Group
λλ
если ты где то меняешь стейт будь добр там же сохранять офсет того сообщения от которого пришел евент
И партицию тож?)
источник
11:44пожаловаться#11

λ

λλ in Scala User Group
и ее )
источник
11:44пожаловаться#12

Oℕ

Oleg ℕizhnik in Scala User Group
не уверен, как это поможет сконструировать корректную систему дедупликации
источник
11:44пожаловаться#13

λ

λλ in Scala User Group
и топик
источник
11:44пожаловаться#14

λ

λoλdog in Scala User Group
Тож не уверен
источник
11:45пожаловаться#15

KS

Kirill Shelopugin in Scala User Group
Вопрос не в дедупликации. Вопрос в том, чтобы при шатдауне консьюмера убедиться, что все, что уже было вычитано, обработано и закоммичено
источник
11:45пожаловаться#16

λ

λoλdog in Scala User Group
Тут вопрос хранится ли стеит где-то
источник
11:45пожаловаться#17

Oℕ

Oleg ℕizhnik in Scala User Group
я скорее поверю, что сообщения для дедупликации должны иметь какие-то строго инкрементящиеся айди, привязанные к каким-то идентификаторам и где-то в стейте хранить последний обработанный дедупликационный айди
источник
11:45пожаловаться#18

λ

λλ in Scala User Group
Oleg ℕizhnik
я скорее поверю, что сообщения для дедупликации должны иметь какие-то строго инкрементящиеся айди, привязанные к каким-то идентификаторам и где-то в стейте хранить последний обработанный дедупликационный айди
ну так ето и есть topic-partition-offset зачем грейсфул шутдаун Кириллу остается загадкой
источник
11:56пожаловаться#19

Oℕ

Oleg ℕizhnik in Scala User Group
λλ
ну так ето и есть topic-partition-offset зачем грейсфул шутдаун Кириллу остается загадкой
Это не может быть топик партишен офсетом
источник
11:57пожаловаться#20