AZ
прислать Pull Request?
Size: a a a
2021 October 27
ЕГ
Ну там же всё на плюсах без оверхэда на сериализацию
ЕГ
А нам в питоны подавай
AZ
DSL на питоне который транслируется в кликовый SQL?
ЕГ
Arrow что ли туда вкорячивать как-то
ЕГ
Нет
ЕГ
Бустец
AZ
воообще in-database training очень overrated (и это пишет человек который пилит это дело)
AZ
достаточно чтобы SQL хорошо работал для обработки данных, потом можно выкачать для обучения, и дальше надо чтобы в СУБД была возможность сделать скоринг
AZ
это и операционно удобнее (ресурсы для обучения нужны не все время), и в плане экосистемы проще, и реализовать проще
AZ
каждый ДС фреймворк не интегрируешь, а если внешне:
1) сделал все джоины и оконки в базе
2) запустил тачку хоть с терабайтом памяти для обучения
3) выгрузил туда данные и обучил модель
4) модель сохранил, тачку дропнул
дешево, быстро, гибко
1) сделал все джоины и оконки в базе
2) запустил тачку хоть с терабайтом памяти для обучения
3) выгрузил туда данные и обучил модель
4) модель сохранил, тачку дропнул
дешево, быстро, гибко
ЕГ
Ну вот я у клика не нашёл "сделать скоринг" пока что
ЕГ
У athena есть?
DT
Запихнуть несколько колонок в модельку и получить циферку в отдельную колонку?
ЕГ
одну циферку часто маловато бывает)
AZ
нет, у нас есть)
DT
Ну можно не одну тогда :)
Это точно можно сделать через executable dictionaries
Это точно можно сделать через executable dictionaries
AZ
обычно это табличная функция или оператор, на вход берет бинарь модели, таблицу/резалтсет и маппинг между резалтсетом и входами модели
на выход структура с ответами
на выход структура с ответами
AZ
такая map-only джоба, в любой базе можно сделать, на крайний случай через динамический SQL
DT
ну катбуст модели прямо в кх можно грузить, для остального можно через executable словарь или теперь через executable таблицу