Size: a a a

2021 March 05

AZ

Anton Zadorozhniy in Data Engineers
Pavel
Ох про nifi забыл)) такое же гавно)
Да, Kafka Connect лучше
источник

P

Pavel in Data Engineers
Andrey Bel
на hdfs спарком флинком можно
или стримсет если логики нет
Можно) можно, но жесткий оверкил
источник

P

Pavel in Data Engineers
Anton Zadorozhniy
NiFi, или самим написать приложеньку
Вот пока выигрывает приложенька)
Мы так в клик пишем, вроде норм
источник

AB

Andrey Bel in Data Engineers
Pavel
Можно) можно, но жесткий оверкил
Ну я ж пишу если ничешо6в процесс сильно замороченного не надо делать то проще готовые инструменты юзать
источник

AZ

Anton Zadorozhniy in Data Engineers
Свою приложеньку ещё имеет смысл писать если вы хотите батчевую логику; в open source не осталось батчевых выгружалок из Кафки вроде бы
источник

AZ

Anton Zadorozhniy in Data Engineers
(это очень удобно для жиденьких потоков в облаке, запускаете AWS Batch раз в сутки, он кладёт все что набежало в S3 и помирает)
источник

P

Pavel in Data Engineers
Anton Zadorozhniy
Свою приложеньку ещё имеет смысл писать если вы хотите батчевую логику; в open source не осталось батчевых выгружалок из Кафки вроде бы
А можно не батчами писать?🙂
источник

AZ

Anton Zadorozhniy in Data Engineers
Pavel
А можно не батчами писать?🙂
можно конечно, о чем речь
источник

P

Pavel in Data Engineers
Я понел🙂 спасиб
источник

АР

Андрей Романов... in Data Engineers
в теории можно обойтись кликом

у клика есть движки, работающие с кафкой и s3

можно сделать таблицу, которая консьюмит данные из кафки и вьюху, которая перекладывает их из кафки в s3

и тогда приложение не нужно, хватит базы
источник

АР

Андрей Романов... in Data Engineers
Андрей Романов
в теории можно обойтись кликом

у клика есть движки, работающие с кафкой и s3

можно сделать таблицу, которая консьюмит данные из кафки и вьюху, которая перекладывает их из кафки в s3

и тогда приложение не нужно, хватит базы
источник

АР

Андрей Романов... in Data Engineers
Pavel
Вот пока выигрывает приложенька)
Мы так в клик пишем, вроде норм
это к этому
источник

AZ

Anton Zadorozhniy in Data Engineers
а как сохранить оффсет на котором закончили читать из кафки? я правильно понимаю что нужен какой-то оркестратор который будет делать такой insert select?
источник

АР

Андрей Романов... in Data Engineers
Anton Zadorozhniy
а как сохранить оффсет на котором закончили читать из кафки? я правильно понимаю что нужен какой-то оркестратор который будет делать такой insert select?
можно добавить виртуальную колонку с оффсетом
источник

АР

Андрей Романов... in Data Engineers
источник

АР

Андрей Романов... in Data Engineers
вот явный пример
источник

АР

Андрей Романов... in Data Engineers
но повторюсь, я это не тестил, а просто нашел в доке
источник

АР

Андрей Романов... in Data Engineers
гуглом
источник

AZ

Anton Zadorozhniy in Data Engineers
и это будет транзакционный insert select?
источник

АР

Андрей Романов... in Data Engineers
Anton Zadorozhniy
и это будет транзакционный insert select?
вопрос хороший
источник