Не заметил первый вопросительный знак)
Да, поверх ярна работает

это на этапе построения модели или уже при inference?

Инференс, когда метрика считается через BinaryClassificationEvaluator

ну так уменьшите размер датафрейма

Ну если быть точнее, то это во время отбора фич. Но ошибка конкретно на подсчёте метрики

Ещё вот такое сообщение удалось вычитать:
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 262144 bytes for committing reserved memory.

Увеличить directmemory

directmemory это про что?

Это то что не хип

А через какой параметр можно его увеличить?

Всем привет! Появилась задача посчитать длину минимального маршрута по графу, для этого использовал библиотеку networkx(dijkstra_path_length) + подружил это все со спарком (результат нужно получить в отдельном поле в таблице). Я попробовал сделать все через udf и у меня валится с ошибкой недостатка памяти на исполнителе. Исходные данные составляют 30к строк, сам граф 600к строк(успешно работало, когда граф был около 100к строк) , но для такого недостаточно 32ГБ на исполнителях(использовал 10 инстансов, по 6 ядер и 32 ГБ памяти). Я посмотрел так же другие функция работы с графом, которые дружат с pyspark, но они не дают должно результата.

Есть ли у кого то опыт работы с графом и pyspark? Или может можно другими инструментами лучше это реализовать?

перепишите на scala 😁

все, что не совсем тривиально, на пуспарке будет ломучее рано или поздно

да не поможет

там проблема в том что оно не рапределенно считатеся

кинь снипет как networkx дружил

☝согласен, что уход с пуспарка всех проблем не решает. просто уже находился по граблям с полигонами и не только 😬

буду следить за тредиком, тоже интересно, как шарящие решат

ну вот кто то описал https://livebook.manning.com/book/spark-graphx-in-action/chapter-6/33

блин, вот помню у меня на экзамене в универе как раз попался дейкстра на мр

но это было 100 лет назад