rG
Нужны лайв дашборды с кафки и с кассандры, как я понял.
Size: a a a
2021 June 30
rG
Спарк джоб добавлю в список изучения.. хз что это. Можете подсказать приоритеты по времени? Во что стоит вникать: спарк, кафка, кассандра, джоб.
А
Если данных много Табло на лайве не вывезет
У него есть механизм экстрактов - это более эфективно
У него есть механизм экстрактов - это более эфективно
I
Data mart классическая штука. В любой книжке про DWH будет.
Там не только производительность и подготовленные заранее агрегаты, но ещё и безопасность. Например финансовый отдел - единственный, кто получает доступ к витрине с информацией про бабло, эйчар - к зарплатам сотрудников и т.д.
Там не только производительность и подготовленные заранее агрегаты, но ещё и безопасность. Например финансовый отдел - единственный, кто получает доступ к витрине с информацией про бабло, эйчар - к зарплатам сотрудников и т.д.
I
Не надо. Потом обычно полный бардак и никто не понимает где бизнес логика
rG
Думаете? ( .. в амазоне видел он в схеме стоит, но там нет уточнения экстрактом или лайвом… так если экстрактом он же всё тянуть к себе начнет..
I
SQL и Питон, остальное приложится
А
Есть инкрементальный экстракт
rG
Я думал это что-то типа обработки пандасом… ох
rG
Т.е. лайв работает, если не злоупотребить запросами?
А
Нее
rG
Уже пройдено)
I
Не учите человека плохому. Табло - визуализация, все способы добавить туда обработку данных (экстракты и прочее) - зло. Это как в Экселе все делать. Просто и хочется, но в итоге потом черт ногу сломит.
Все экстракты должны быть в DWH: витрины или хотя бы materialized views
Все экстракты должны быть в DWH: витрины или хотя бы materialized views
I
Нет :)
rG
Уже где тотаидел эти слова))
А
Ну знаете ли, есть разница когда дашборд будет открываться 10 секунд или 1.5 минуты. У нас все данные посчитаны в dwh, но Табло работает на экстактах тк данных много, надо сравнивать например текущий год и предыдущие 5 лет. Лайв на таких обьемах скажет досвидания
rG
Ну да) опыта нет, только учебная практика разве) д задания с собесов) мне пандас нравится..
rG
А если табло пользует запущенный отдельно питон?
rG
И в питоне есть некие правила, например.
I
Ну то есть у вас это про сути кэш?