VE
Пробовал по отдельности, тоже интересен кейс
Size: a a a
2021 September 01
LT
В общем, моя цель - обучить в Databricks модель, зарегистрировать ее в ML Flow, а в предикте ходить на бд
LT
Потому что стоит задача text2sql, перевода вопроса на естественном языке в sql запрос
LT
И в идеале мне надо, чтобы модель генерировала запрос и отдавала мне результат запроса
NN
А у бриксов нет разве нормальной доки?
Насколько я знаю, это ж все их поделия, и явно умеют хорошо дружить, особенно на их платформе.
Насколько я знаю, это ж все их поделия, и явно умеют хорошо дружить, особенно на их платформе.
LT
Вот тут-то и вмешивается Спарк
LT
Просто так не работает
def predict(self, context, model_input):
s = self.model.predict([model_input])[0][0]
r = spark.sql(s).toPandas()
if len(r.columns)>1:
return r[['swo_category', 'profit']]
else:
return r
def predict(self, context, model_input):
s = self.model.predict([model_input])[0][0]
r = spark.sql(s).toPandas()
if len(r.columns)>1:
return r[['swo_category', 'profit']]
else:
return r
LT
Возвращает исключение
Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation. SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-5063.
Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation. SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-5063.
ЕГ
Регистрация в млфлоу это скорее формальный процесс, он не связан с самой моделью, её из артефакта как-то можно по-кривому вытащить только
LT
Не понял, почему?
LT
Если возвращать в предикте сам запрос, то все работает, и я могу дергать модель через rest api
ЕГ
А "s" это что?
LT
Криво поправил
LT
В model я отправляю обученную seq2seq модель
ЕГ
Ну то есть какой-то механизм выкачивания модели в питон объект есть, дальше млфлоу ни при чём
LT
Нет, ошибка именно в логировании модели mlflow
ЕГ
Перед [0][0] не нужно коллект поставить?
ЕГ
Результат предикта это же датафрейм?
LT
Не знаю, что имеется в виду, но опять же, без строчки со spark.sql все работает
ЕГ
Зачем его в спарк скл засовывать