OO
заведи потом под спарк
ну там интернал апи для кастомных расширений
Size: a a a
2020 March 11
OO
в 3 спарке сделают публичным, но он хз когда у нас будет
GP
возьми enumeratum
Вроде раньше какая-то фигня с сериализация была, нет?
DZ
Вроде раньше какая-то фигня с сериализация была, нет?
У нас кастомная
DZ
Все ок
DZ
Вроде раньше какая-то фигня с сериализация была, нет?
DZ
как то так
DZ
но можно лучше офк
OO
скорее бы дотти...
GP
ну сначала 2.13 а с дотти кроссбилд поначалу будет
A
вы хотите чтобы скрипт исполнялся используя много GPU которые сидят в разных серверах? или просто работал на сервере с GPU?
Первое
A
Спасибо. Но модель у меня уже обучена.
A
я так понимаю у коллеги не обучение а инференс все-таки, поэтому ему не хороводы всякие наверное нужны, а старый добрый селдон, но скрипт видимо придется переписать
https://github.com/SeldonIO/seldon-core этот? А можно просто использовать докер для моих целей?
A
Мы использовали jep для интертеграции инференса на питоне в скалу
С ним можно использовать любые питон пакеты?
A
Евгений Глотов
pyspark включённым pyspark.virtualenv позволяет развернуть на каждой ноде нужный энвайронмент и запускать там код, использующий нужные либы, например, с помощью pandas_udf, или обычной udf, или вообще на rdd
Спасибо. На всякий случай спрошу, если python либы очень специфические, типа BERT-а, то на PySparke всё равно их можно запустить?
AZ
https://github.com/SeldonIO/seldon-core этот? А можно просто использовать докер для моих целей?
вы можете просто обернуть ваш докер в куберовский джоб, но вы не сможете инферить один экземпляр вашего скрипта больше чем на одном воркере, если вы хотите чтобы ваш инференс граф исполнялся на пачке узлов (первый шаг на двух, второй на трех и так дальше) то надо использовать нормальные инференс графы, переписать скрипт на две части - деплой моделей и дергание инференс графа
ЕГ
Спасибо. На всякий случай спрошу, если python либы очень специфические, типа BERT-а, то на PySparke всё равно их можно запустить?
Он делает внутри pip install -r requirements.txt на каждой ноде
ЕГ
Но теоретически можно и руками протащить на ноды все либы и прописать пути к ним
ЕГ
Через sparkFiles
UD
conda-pack
xar
pex
xar
pex