A
Pyspark запускает воркер на python и по сокету с ним общается, поэтому тот python процесс умеет все что умеет python
Size: a a a
2020 March 11
A
И зачем спарк, если нужно гпу?
Оркестрация?
АЖ
Оркестрация?
Есть более подходящие для этого фреймворки
A
Есть более подходящие для этого фреймворки
Можете пожалуйста сказать какие?
АЖ
Можете пожалуйста сказать какие?
S
1) Про pyspark знаю, но вы уверены что к нему можно подключить любые python модули?
2) Вообще хотелось как можно больше инстанцев. Это же можно сделать с помощью k8s?
2) Вообще хотелось как можно больше инстанцев. Это же можно сделать с помощью k8s?
Можно сделать с к8с. Только еще год назад он не умел шарить гпу, насколько я помню
AZ
Всем привет. Два простых вопроса. Есть у меня значит python скрипт с разными модулями (pytorch, tensorflow, theano, transformers и т.д.). Скрипт принимает текстовый документ, делает нужный расчёт и выплёвывает некоторые данные из этого текстового документа И есть виртуальный инвайромент с некоторым количеством GPUs где хочу этот скрипт запускать.
1) Я могу запустить этот скрипт на Spark-e? То что мельком посмотрел - такое впечатление что на спарке не получится запустить python модули. Или я не прав?
2) Я могу запустить этот скрипт используя Docker? Если да, что будет лучше, спарк или докер? В идеале вычисления хотелось бы проводить в real time и на GPUs.
1) Я могу запустить этот скрипт на Spark-e? То что мельком посмотрел - такое впечатление что на спарке не получится запустить python модули. Или я не прав?
2) Я могу запустить этот скрипт используя Docker? Если да, что будет лучше, спарк или докер? В идеале вычисления хотелось бы проводить в real time и на GPUs.
вы хотите чтобы скрипт исполнялся используя много GPU которые сидят в разных серверах? или просто работал на сервере с GPU?
АЖ
Можно сделать с к8с. Только еще год назад он не умел шарить гпу, насколько я помню
вроде nvidia что-то выпускала
АЖ
https://github.com/Deepomatic/shared-gpu-nvidia-k8s-device-plugin - хм, даже и не nvidia
AZ
я так понимаю у коллеги не обучение а инференс все-таки, поэтому ему не хороводы всякие наверное нужны, а старый добрый селдон, но скрипт видимо придется переписать
S
Мы использовали jep для интертеграции инференса на питоне в скалу
S
В целом оно скорее работает... Но шансов попасть себе в ногу и поймать утечку памяти не мало
ЕГ
Всем привет. Два простых вопроса. Есть у меня значит python скрипт с разными модулями (pytorch, tensorflow, theano, transformers и т.д.). Скрипт принимает текстовый документ, делает нужный расчёт и выплёвывает некоторые данные из этого текстового документа И есть виртуальный инвайромент с некоторым количеством GPUs где хочу этот скрипт запускать.
1) Я могу запустить этот скрипт на Spark-e? То что мельком посмотрел - такое впечатление что на спарке не получится запустить python модули. Или я не прав?
2) Я могу запустить этот скрипт используя Docker? Если да, что будет лучше, спарк или докер? В идеале вычисления хотелось бы проводить в real time и на GPUs.
1) Я могу запустить этот скрипт на Spark-e? То что мельком посмотрел - такое впечатление что на спарке не получится запустить python модули. Или я не прав?
2) Я могу запустить этот скрипт используя Docker? Если да, что будет лучше, спарк или докер? В идеале вычисления хотелось бы проводить в real time и на GPUs.
pyspark включённым pyspark.virtualenv позволяет развернуть на каждой ноде нужный энвайронмент и запускать там код, использующий нужные либы, например, с помощью pandas_udf, или обычной udf, или вообще на rdd
ЕГ
Где-то внизу табличка с нужными параметрами сессии:
https://community.cloudera.com/t5/Community-Articles/Using-VirtualEnv-with-PySpark/ta-p/245905
https://community.cloudera.com/t5/Community-Articles/Using-VirtualEnv-with-PySpark/ta-p/245905
DZ
Евгений Глотов
pyspark включённым pyspark.virtualenv позволяет развернуть на каждой ноде нужный энвайронмент и запускать там код, использующий нужные либы, например, с помощью pandas_udf, или обычной udf, или вообще на rdd
Но если у человека докер есть, зочем ему венв?
ЕГ
Докер раскатывать как-то надо
ЕГ
Если лень, то можно так)
DZ
Венв накатывать тоже надо
O
Правильно я понимаю, что когда спарк работает с данными хайва, не используются протоколы типа thrift/jdbc он напрямую ходит в hdfs по путям из метастора и десериализует/сереализует данные?
A
Обычно да, если вы метастор используете только, а вот в случае jdbc то вроде честно ходит через него