GP
я попробую у меня точно пер роу я об этом просто не подумал
Size: a a a
2021 September 10
GP
углядел)
GP
ну как вариант похоже можно кешировать их, тогда будет пер жвм кеш
но блокировать обращения к ним
не знаю на сколько это быстро будет но точно выглядит костылем)
но блокировать обращения к ним
не знаю на сколько это быстро будет но точно выглядит костылем)
GP
хотя они сами кешировали их в определенных версиях
M
ой, прошу прощения, чатиком ошибся
AG
Вопрос, вот pyspark работает на cpu как я понял, а есть либы которые работают на gpu(rapids например), явно работа на гпу с точки зрения параллелизма эффективнее, но почему спарк так популярен? Ни у кого нет денег сделать гпу дата центр? Или я что-то не понимаю
Б
Мне кажется задачи решаемые на cpu и gpu отличаются.
B
Спарк может работать и на гпу
AG
Эффективно? Или просто может
B
Вроде эффективно но не для любой задачи
AG
Ну я поясню, вот я пользовался одно время тензорфлоу(не сильно плотно) в 100% задач, на гпу все работало шустрее
AG
Операции на матрицами и подбор гиперпараметров
B
Apache Spark 3.0:For Analytics & Machine Learning | NVIDIA
https://www.nvidia.com/en-us/deep-learning-ai/solutions/data-science/apache-spark-3/
https://www.nvidia.com/en-us/deep-learning-ai/solutions/data-science/apache-spark-3/
B
Вот нвидия двигает тему для мл
AZ
Спарк обычно делает другое, унылые джоины, немножко string manipulation, ну и сжатие/разжатие
GP
для МЛ спарк не более популярен
AG
Ля, спасибо) просто пол книжки прочитать ток успел по Спарку, вопрос не дал покоя
AZ
Вообще редкость по моей практике, мб щас стало лучше
GP
+ (к редкости)