Телеграмм чат группы hadoopusers страница 3325

в теории можно обойтись кликом

у клика есть движки, работающие с кафкой и s3

можно сделать таблицу, которая консьюмит данные из кафки и вьюху, которая перекладывает их из кафки в s3

и тогда приложение не нужно, хватит базы

источник

13:45пожаловаться #10

АР

Андрей Романов... in Data Engineers

Андрей Романов

в теории можно обойтись кликом

у клика есть движки, работающие с кафкой и s3

можно сделать таблицу, которая консьюмит данные из кафки и вьюху, которая перекладывает их из кафки в s3

и тогда приложение не нужно, хватит базы

вот ссылки в документации

https://clickhouse.tech/docs/ru/engines/table-engines/integrations/kafka/

https://clickhouse.tech/docs/en/engines/table-engines/integrations/s3/

clickhouse.tech

Kafka | Документация ClickHouse

Kafka Движок работает с Apache Kafka. Kafka позволяет: Публиковать/подписываться на потоки данных. Организовать отказоус

источник

13:45пожаловаться #11

АР

Андрей Романов... in Data Engineers

Pavel

Вот пока выигрывает приложенька)
Мы так в клик пишем, вроде норм

это к этому

источник

13:47пожаловаться #12

AZ

Anton Zadorozhniy in Data Engineers

Андрей Романов

вот ссылки в документации

https://clickhouse.tech/docs/ru/engines/table-engines/integrations/kafka/

https://clickhouse.tech/docs/en/engines/table-engines/integrations/s3/

clickhouse.tech

Kafka | Документация ClickHouse

Kafka Движок работает с Apache Kafka. Kafka позволяет: Публиковать/подписываться на потоки данных. Организовать отказоус

а как сохранить оффсет на котором закончили читать из кафки? я правильно понимаю что нужен какой-то оркестратор который будет делать такой insert select?

источник

13:48пожаловаться #13

АР

Андрей Романов... in Data Engineers

Anton Zadorozhniy

а как сохранить оффсет на котором закончили читать из кафки? я правильно понимаю что нужен какой-то оркестратор который будет делать такой insert select?

можно добавить виртуальную колонку с оффсетом

источник

13:50пожаловаться #14

АР

Андрей Романов... in Data Engineers

здесь есть пример:
https://altinity.com/blog/2020/5/21/clickhouse-kafka-engine-tutorial

ClickHouse Software And Services | Altinity

ClickHouse Kafka Engine Tutorial

Our colleague Mikhail Filimonov just published an excellent ClickHouse Kafka Engine FAQ. It provides users with answers to common questions about using stable versions, configuration parameters, standard SQL definitions, and many other topics. Even experienced users are likely to learn something new. But what if you are getting started and need help setting up Kafka and ClickHouse for the first time? Good news! This article is for you.