ME
Вывод:
Length: 4160889
Classic operations: 1.4955859184265137
PySpark operations: 4.892405271530151Size: a a a
2021 July 06
M
Добрый день, может кто-то знает. Почему PySpark работает в 4 раза медленнее или что-то необходимо сделать перед вычислениями над rdd?
Вывод:
Вывод:
PK
Ну, 4 мульта интов на спарке перемножать очевидно медленней будет.
PK
Куча накладных расходов на запуск, сериализация-десиарилазация. Опять же непонятно сколько ядер и памяти на драйвере и экзекьютерах
M
А при каких условиях тогда спарк себя лучше покажет?
AE
эт такой синтетический тест? а что именно тестируется?
M
Решил провести инвестигейт спарка, посмотреть как он вообще, слышал быстрее выполняет обработку данных с помощью распараллеливания. Вот и пытаюсь смоделировать ситуацию с каким-то расчетом где спарк лучше себя покажет
AE
лолушки
AE
не, ну если взять 4ккк интов и перемножить, то локально они не влезут в память
AE
а спарк не подавится
M
Так его лучше юзать, чтобы проблем с памятью не было, а не для скорости?
T
Лучше xargs -P тогда взять
AE
чья там коронная шутка про big data not many data?
AE
спарк не про скорость, не про размер, и даже не про масштабируемость.
он про возможность вычислять вещи, плохо или вообще не вычислимые локально
он про возможность вычислять вещи, плохо или вообще не вычислимые локально
AZ
Новое слово в computer science, что-то невычислимое на одном компьютере, надо на премию Тьюринга подавать
SO
>не про рамзмер, не про масштабируемость
Вычислять локально…
Вычислять локально…
V
Искал новизну и не нашел. Учитывая что любой вычислитель на планете не является Тьюринг-полным исполнителем, да и архитектурные ограничения куда как суровее, что-то невычислимое на одном компе давно называется частным случаем np-полной задачи, а машина, ввиду конечности её состояний и ограниченности срока эксплуатации, -универсальной машиной тьюринга. Ниче блин нового.
GP
можно и про скорость и дешевизну
V
Да оно все локально. Просто вы время экономите, если ресурсы шарите. Да и то не всегда.
V
Класс задач то не меняется