i
выяснилось это конечно в кафке
Size: a a a
2021 March 06
ZM
ну почти неопционально, потому что это единственный способ достичь совместимости между версиями
как-то натыкался на любопытный поинт про сериализацию - когда требуется повышенная надежность в данных, то стоит отдавать предпочтение форматам, которые позволяют разобрать содержимое без сторонних сервисов и систем (мол такое уже бывало в гос структурах с данными 30-40летней давности)
Oℕ
ну это валидный пойнт для системы, где между сериализацией и десериализацией может пройти значительное время
AK
в общем, кажется, что бинарные штуки основанные на явном тегировании типа протобафа или трифта более straightforward решение для RPC
А для типизированных сообщений посылаемых через ту же кафку?
Oℕ
для RPC, где мы считаем, что запрос ответ происходят в рамках фиксированного окна, не превышающего часа, выводы могут поменяться
ZM
я его упомянул, просто потому, что мне кажется совсем неочевидным
нелегко задуматься об этом, когда ты вначале проектирования
нелегко задуматься об этом, когда ты вначале проектирования
Oℕ
А для типизированных сообщений посылаемых через ту же кафку?
вот для кафки как раз мы имеем ситуацию, когда между сериализацией и десериализацией длительное время проходит
если где-то рядом лежит схема регистри, который может сообщить, с какого офсета пошла какая схема, возможно, и так и сяк пойдёт
если где-то рядом лежит схема регистри, который может сообщить, с какого офсета пошла какая схема, возможно, и так и сяк пойдёт
Oℕ
ну это скатывается к этой ситуации фактически https://t.me/scala_ru/305139
Oℕ
если у вас кафка - это грубо говоря "буфер" для общения между сервисами - можно и без схема регистри
AK
как-то натыкался на любопытный поинт про сериализацию - когда требуется повышенная надежность в данных, то стоит отдавать предпочтение форматам, которые позволяют разобрать содержимое без сторонних сервисов и систем (мол такое уже бывало в гос структурах с данными 30-40летней давности)
Это же кейс в ошибке обработки tcp пакета, когда отловить долго не могли, так как протокол бинарный и потеряный бит на определенном железе создавал гейзенбаг
Oℕ
потому что в отличие от систем анализа данных, обычный сервис, читая из кафки, может обработать фиксированный набор полей, и ему хватит гарантии, что они там есть, которую можно и без регистри условно обеспечить
AK
потому что в отличие от систем анализа данных, обычный сервис, читая из кафки, может обработать фиксированный набор полей, и ему хватит гарантии, что они там есть, которую можно и без регистри условно обеспечить
В общем да, но ИМХО, что если описание АПИ реализованных сервисом будет в доступном кому надо реестре то это упростит разработку и сопровождение. Как proto для протобафа или WSDL, взял, и сгенерил сериализатор и используешь его в создании новых сервисов.
Хотя может я не вижу явных граблей.
Хотя может я не вижу явных граблей.
Oℕ
никто не спорит, если вы наладите такой сиай, все только спасибо скажут
λ
Мы использовали Avro4s, остались немного злыми и недовольными
Vulkan
AK
в общем, кажется, что бинарные штуки основанные на явном тегировании типа протобафа или трифта более straightforward решение для RPC
Вот второй вопрос нарисовался... или четвертый уже на ту же почти тему.
Трифт как принято готовить, из сорцов собирать или пакетным манагером ставить системный?
Пытаюсь из сорцов собрать, так ему то руби слишком новый, то хаскель без пакетов каких то, то пхп композер требует. Это получается надо явно отрубить все ненужное что бы собрать только для нужных языков, а мне это питон, джава (скалы то нет) и го
Трифт как принято готовить, из сорцов собирать или пакетным манагером ставить системный?
Пытаюсь из сорцов собрать, так ему то руби слишком новый, то хаскель без пакетов каких то, то пхп композер требует. Это получается надо явно отрубить все ненужное что бы собрать только для нужных языков, а мне это питон, джава (скалы то нет) и го
Oℕ
я на этот вопрос не отвечу, подождём других экспертов
EK
Вот второй вопрос нарисовался... или четвертый уже на ту же почти тему.
Трифт как принято готовить, из сорцов собирать или пакетным манагером ставить системный?
Пытаюсь из сорцов собрать, так ему то руби слишком новый, то хаскель без пакетов каких то, то пхп композер требует. Это получается надо явно отрубить все ненужное что бы собрать только для нужных языков, а мне это питон, джава (скалы то нет) и го
Трифт как принято готовить, из сорцов собирать или пакетным манагером ставить системный?
Пытаюсь из сорцов собрать, так ему то руби слишком новый, то хаскель без пакетов каких то, то пхп композер требует. Это получается надо явно отрубить все ненужное что бы собрать только для нужных языков, а мне это питон, джава (скалы то нет) и го
Еще есть вариант использовать плагины билд системы. Генерируем java классы в градле по avro. Для трифта, вроде, тоже есть плагин.
AK
Еще есть вариант использовать плагины билд системы. Генерируем java классы в градле по avro. Для трифта, вроде, тоже есть плагин.
Мерси, попробую однако 😺
Oℕ
Трифт очень активно использовался твиттером
Oℕ
Так что у них и для скалы генераторы искать нужно