Ой нет точно)))
Вы получаете абсолютно неуправляемый процесс

не думаю что он будет транзакционный, если иногда консьюминг в таблицу может сломаться по причинам нестабильности той же сети, например

У клика транзакций нет

возможно, я просто предложил один из вариантов

кстати, да

чот как-то не очень

Да, мы тоже в самом начале гола 2 назад расссматрмвали кафка-движ для кликхауса, но очень быстро отказались. И слава богу

Короч, нихуя нового не изобрели))

кмк такие логистические компоненты надо делать максимально независимыми, чтобы какой-нибудь апгрейд или аутадж МРР базы не каскадировался сразу на кучу процессов

по этой же причине делать логистику на spark streaming это довольно специфичное решение

Ну, да. Как и флинк заводить под это дело.

Тоже верно, плюс максимально простыми

а вы пользуетесь этим движком? как он работает когда схема у топика меняется, он алертит или сам вьюху пересоздает?

чот я вообще не понял куда ему регистр схем подать

если честно, я пользовался им достаточно давно

скорее всего он упадёт при попытке получения сообщений, но точно сказать не могу

для авро в доках есть такой параметр в регистри

https://clickhouse.tech/docs/ru/interfaces/formats/#data-format-avro-confluent

в официальной группе можно побольше инфы получить

https://t.me/clickhouse_ru

всем привет. столкнулся с проблемой, запускаю спарк джобу, периодически (не всегда!) ловлю ошибку

ERROR [main] glue.ProcessLauncher (Logging.scala:logError(70)): Exception in User Class: java.lang.StackOverflowError
org.apache.spark.sql.catalyst.expressions.Canonicalize$.org$apache$spark$sql$catalyst$expressions$Canonicalize$$gatherCommutative(Canonicalize.scala:52)
org.apache.spark.sql.catalyst.expressions.Canonicalize$$anonfun$org$apache$spark$sql$catalyst$expressions$Canonicalize$$gatherCommutative$1.apply(Canonicalize.scala:53)
org.apache.spark.sql.catalyst.expressions.Canonicalize$$anonfun$org$apache$spark$sql$catalyst$expressions$Canonicalize$$gatherCommutative$1.apply(Canonicalize.scala:53)
scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
scala.collection.immutable.List.foreach(List.scala:392)
scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241)
scala.collection.immutable.List.flatMap(List.scala:355)

действие происходит в aws-е (glue). подскажите в какую сторону копать

видимо где-то зацикливается рекурсивный разбор запроса

а как такое теоретически может быть?