Size: a a a

2020 March 22

SF

Sergey Filatov in Data Engineers
это сам kylin такое предоставляет?
источник

DZ

Dmitry Zuev in Data Engineers
Линейная регрессия обычная, думаю нет
источник

SF

Sergey Filatov in Data Engineers
ну ты имеешь ввиду просто джобы сделать над данными из kylin?
источник

DZ

Dmitry Zuev in Data Engineers
Я ничего не имею ввиду, просто говорю что простейший вариант для прогнозирования это линия тренда
источник

DZ

Dmitry Zuev in Data Engineers
Функции машинного обучения - Документация ClickHouse
https://clickhouse.yandex/docs/ru/query_language/functions/machine_learning_functions/
источник

DZ

Dmitry Zuev in Data Engineers
Если там кх, то вот
источник

SF

Sergey Filatov in Data Engineers
Dmitry Zuev
Функции машинного обучения - Документация ClickHouse
https://clickhouse.yandex/docs/ru/query_language/functions/machine_learning_functions/
да, я думал о том чтобы их явно использовать
источник

SF

Sergey Filatov in Data Engineers
но надеялся что может быть kylin имеет какую-то поддержку внутри
источник

AZ

Anton Zadorozhniy in Data Engineers
Sergey Filatov
но надеялся что может быть kylin имеет какую-то поддержку внутри
Kylin представляется просто базой наружу, odbc/jdbc, вы хотите к этим данным применять какую-то внешнюю модель, или вы хотите чтобы во время построения куба проходил скоринг и вам показывали скоры?
источник

SF

Sergey Filatov in Data Engineers
Anton Zadorozhniy
Kylin представляется просто базой наружу, odbc/jdbc, вы хотите к этим данным применять какую-то внешнюю модель, или вы хотите чтобы во время построения куба проходил скоринг и вам показывали скоры?
в идеале 2е, 1й вариант как запасной
источник

SF

Sergey Filatov in Data Engineers
на самом деле мне нужен многомерных анализ поверх данных из КХ + возможность прогнозирования данных в рамках этого анализа
источник

SF

Sergey Filatov in Data Engineers
я так понимаю что kylin лучше всего подходит именно для многомерного анализа, но ничего связанного с прогнозом в нем нет, думал - может есть что-то что лучше подойдет?
источник

AZ

Anton Zadorozhniy in Data Engineers
Sergey Filatov
я так понимаю что kylin лучше всего подходит именно для многомерного анализа, но ничего связанного с прогнозом в нем нет, думал - может есть что-то что лучше подойдет?
Kylin это средство для дашбордов, он посчитает и материализует вам куб который потом можно довольно быстро опрашивать, но поменять определения мер или вкинуть новые справочники в нем нельзя, нужно пересчитать куб
источник

AZ

Anton Zadorozhniy in Data Engineers
у него очень узкая область, он не для анализа как такового, а чтобы показывать срезы с заданным SLA
источник

AZ

Anton Zadorozhniy in Data Engineers
Sergey Filatov
я так понимаю что kylin лучше всего подходит именно для многомерного анализа, но ничего связанного с прогнозом в нем нет, думал - может есть что-то что лучше подойдет?
spark пробовали?
источник

SF

Sergey Filatov in Data Engineers
нет, мне кажется это будет сложнее именно для кейса построения срезов, drill-down и тд чем kylin
источник

SF

Sergey Filatov in Data Engineers
Anton Zadorozhniy
у него очень узкая область, он не для анализа как такового, а чтобы показывать срезы с заданным SLA
я так понимаю вы имеете ввиду что ничего кроме как вертеть куб он не умеет и для построения реальной аналитики удобнее использовать spark?
источник

AZ

Anton Zadorozhniy in Data Engineers
Sergey Filatov
я так понимаю вы имеете ввиду что ничего кроме как вертеть куб он не умеет и для построения реальной аналитики удобнее использовать spark?
пока слабо понятна ваша задача, кмк вы смешиваете фронтовую часть, движок запросов и хотите чтобы в одной из этих штук появился ML
источник

AZ

Anton Zadorozhniy in Data Engineers
думаю вам проще будет начать со спарка и того что у вас для отображения отчетности, а дальше добавлять/заменять компоненты когда вам будет чего-то нехватать/что-то будет не устраивать
источник

SF

Sergey Filatov in Data Engineers
подумаю о спарке для этой задачи, спасибо!
источник