ЕГ
Если это уже датафрейм
Size: a a a
2021 September 01
LT
Потому что я из модели получаю sql запрос и мне надо отправить его на бд
LT
Нет, это не датафрейм. Я как раз работаю над сервисом, который сможет дёргать бд
ЕГ
А, предикт возвращает датафрейм строк с скл запросами?
LT
Даже одну строку
ЕГ
Или это просто двумерный массив
LT
Ну изначально массив, но по этому двойному индексу я получаю просто строку
ЕГ
А кусок эскуэля какой возвращается?
LT
В плане какой?
LT
Валидный запрос
LT
Select обычный
ЕГ
Отдельно он работает?
LT
Да, генерируемый запрос работает сам по себе
LT
Когда я создаю объект Python model, который нужен для млфлоу, он тоже работает
LT
А когда я пытаюсь сделать mlflow.pyfunc.log_model, я получаю исключение от Спарка
LT
Возвращает исключение
Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation. SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-5063.
Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation. SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-5063.
ЕГ
Первая строчка сама по себе работает, эскуэль выдаёт, строчка спарк.скл с этим склем работает, а вместе они не работают?
LT
Все ломается, когда я модель с этим предиктом (который использует Спарк.скл) пытаюсь залогировать в mlflow
LT
Причём вот ругается спарк
LT
Что я куда-то не туда полез типа