Size: a a a

2020 February 12

P

Python in Data Engineers
Nikolay
А как обожглись
Плохо работают. Куча всяких подвохов. Код плохо написан.
источник

R

Roman in Data Engineers
T
что типа такого, ну или через степ, я правда не уверен, что степ запустит шел скрипт на всех нодах
Уверен, что запустит только на мастере.
источник

R

Roman in Data Engineers
Жмака
Нужен их последний хайв
А что там такого крутого?
источник

OO

Oleksandr Olgashko in Data Engineers
Python
Плохо работают. Куча всяких подвохов. Код плохо написан.
а можно детали?
источник

T

T in Data Engineers
Roman
Уверен, что запустит только на мастере.
ну это смотря как написать, но подефолту да только мастер
источник

OO

Oleksandr Olgashko in Data Engineers
помнится мне, года 2-3 назад в твоей же компании использовали успешно кафка стримы на одном проекте
источник

P

Python in Data Engineers
Oleksandr Olgashko
помнится мне, года 2-3 назад в твоей же компании использовали успешно кафка стримы на одном проекте
Не успешно :)
источник

OO

Oleksandr Olgashko in Data Engineers
Python
Не успешно :)
потом вырезали?
источник

P

Python in Data Engineers
Oleksandr Olgashko
потом вырезали?
Ну ещё не всё вырезали, что-то всё ещё работает после вкладывания кучи крови в это, но консенсус абсолютный в этом вопросе. Те же самые люди что хвалили и продавали Kafka Streams, теперь против них настроены агрессивно отрицательно 😊
источник

DM

Daniel Matveev in Data Engineers
Python
Какие преимущества имеет использование Apache Flink над разработкой такого же приложения вручную? Какие недостатки? Может кто сталкивался. Маркетинговые материалы читал. По описанию примерно тоже самое что Kafka Streams.
это немного разного масштаба вещи
отличия, например, в менеджере джобов и "автоскейлинге"
источник

P

Python in Data Engineers
Daniel Matveev
это немного разного масштаба вещи
отличия, например, в менеджере джобов и "автоскейлинге"
О! Вот это интересно! То есть Flink нужен если у меня большие объёмы данных и обработку надо распределять?
источник

DM

Daniel Matveev in Data Engineers
с ним это будет значительно проще
источник

DM

Daniel Matveev in Data Engineers
кафка стримы весьма примитивны
источник

P

Python in Data Engineers
Daniel Matveev
кафка стримы весьма примитивны
Про Кафка Стримы я зря написал, запутал всех. Я хочу сравнить с ручным кодом, без кафка стримов с Apache Flink.
источник

P

Python in Data Engineers
Что мне такое интересное даёт Apache Flink чего я не получаю с теми же consumer groups. Взял и распределил нагрузку 😊
источник

DM

Daniel Matveev in Data Engineers
авторестарты (по стратегиям), метрики из коробки (раньше для кафки не работали нормально, сейчас не знаю), дашбордочка, может сейвить состояния и говорит консистентно (но говорят врет)
источник

DM

Daniel Matveev in Data Engineers
менеджмент ресурсов (своих джобов), но тут все сильно зависит от того где эти ресурсы и во что обмазаны
источник

DM

Daniel Matveev in Data Engineers
тут были более тертые люди, они могут отсыпать конкретики, но лучше и вопросы поточнее
источник

P

Python in Data Engineers
Daniel Matveev
авторестарты (по стратегиям), метрики из коробки (раньше для кафки не работали нормально, сейчас не знаю), дашбордочка, может сейвить состояния и говорит консистентно (но говорят врет)
> может сейвить состояния и говорит консистентно (но говорят врет)
О! Вот это интересно очень! А что говорят про то что врёт?
источник

DM

Daniel Matveev in Data Engineers
Python
> может сейвить состояния и говорит консистентно (но говорят врет)
О! Вот это интересно очень! А что говорят про то что врёт?
говорят код смотрели и там есть корнеркейсы
источник