DZ
на спарк мл перепиши свои модельки и запускай под ярном. Тогда точно ничего свободного не останется.
Ну это хз, сразу искусственное ограничение на модели
Size: a a a
2020 February 18
RS
Да что там писать
это вопрос спорный, сказать можно про что угодно так, но спасибо за вариант
R
погодите. если модель надо обучать именно на всех больших данных - тут конечно без Spark ML не обойтись.
если нужно только делать inference - можно построить модель на питоне и запаковать ее в pyspark
если нужно только делать inference - можно построить модель на питоне и запаковать ее в pyspark
N
Ну это хз, сразу искусственное ограничение на модели
говорят, что там несложно. регрессия там, то се. вряд ли экспериментальные resnet-ы на 1000 слоев обучаются.
DZ
это вопрос спорный, сказать можно про что угодно так, но спасибо за вариант
Это утверждение спорное, так можно сказать что угодно, лишь бы ничего не пробовать
RS
погодите. если модель надо обучать именно на всех больших данных - тут конечно без Spark ML не обойтись.
если нужно только делать inference - можно построить модель на питоне и запаковать ее в pyspark
если нужно только делать inference - можно построить модель на питоне и запаковать ее в pyspark
задача общая, есть различные pipeline ы обучения, в основном на python
их надо запускать, получать модели и далее сервить, вот я сейчас хочу разобраться, какие есть варианты для запуска обучения
их надо запускать, получать модели и далее сервить, вот я сейчас хочу разобраться, какие есть варианты для запуска обучения
R
задача общая, есть различные pipeline ы обучения, в основном на python
их надо запускать, получать модели и далее сервить, вот я сейчас хочу разобраться, какие есть варианты для запуска обучения
их надо запускать, получать модели и далее сервить, вот я сейчас хочу разобраться, какие есть варианты для запуска обучения
так сделайте с mlflow.
модель делаете на python, пакуете ее в http-server, сервер по запросу отдает скоринг
модель делаете на python, пакуете ее в http-server, сервер по запросу отдает скоринг
R
масштабируемость через инстансы http-server-а практически линейная
DZ
погодите. если модель надо обучать именно на всех больших данных - тут конечно без Spark ML не обойтись.
если нужно только делать inference - можно построить модель на питоне и запаковать ее в pyspark
если нужно только делать inference - можно построить модель на питоне и запаковать ее в pyspark
Ну хз, распределенное обучение не только на спарке
DZ
так сделайте с mlflow.
модель делаете на python, пакуете ее в http-server, сервер по запросу отдает скоринг
модель делаете на python, пакуете ее в http-server, сервер по запросу отдает скоринг
Дикие тормоза в проде
R
Ну хз, распределенное обучение не только на спарке
ну можно еще попробовать tensorflow-spark / h2o / whatever else
N
задача общая, есть различные pipeline ы обучения, в основном на python
их надо запускать, получать модели и далее сервить, вот я сейчас хочу разобраться, какие есть варианты для запуска обучения
их надо запускать, получать модели и далее сервить, вот я сейчас хочу разобраться, какие есть варианты для запуска обучения
а вам вообще нужна распределенная среда? может оно все и лишнее, и на персоналке обучится?
RS
так сделайте с mlflow.
модель делаете на python, пакуете ее в http-server, сервер по запросу отдает скоринг
модель делаете на python, пакуете ее в http-server, сервер по запросу отдает скоринг
тут нет вопроса как сервить, с этим все понятно, есть вопрос, как учить и какие кроме kubernetes есть варианты с удобной утилизацией ресурсов
АЖ
Дикие тормоза в проде
в большинстве случаев тормоза не у модели, а какого-нибудь пандаса
но там можно похачить пандас и уйти ближе к нумпи
но там можно похачить пандас и уйти ближе к нумпи
S
а чем плох кубер?
S
много воркеров падает или утилизация ресов низкая?
RS
а чем плох кубер?
kuber ни чем не плох, решение коробочное и kubernetes в себя не включает, по крайней мере пока )
АЖ
kuber ни чем не плох, решение коробочное и kubernetes в себя не включает, по крайней мере пока )
а что включает?
RS
а что включает?
есть yarn / oozie, хочу понять что я могу построить на том, что имею
АЖ
есть yarn / oozie, хочу понять что я могу построить на том, что имею
docker over yarn жизнеспособен, в целом