По идее

Даже после добавления памяти он все равно падает

с offHeap ошибкой

Ну, про что я и говорю. Нужно найти опцию юзать диск при нехватке памяти

Видимо это

Нет

Эта штука делит хип твой на пропорции для спарка и для твоего кода

Ой - перепутал с другой опцией

я вот прочитал что tasks may split to disk often

Sometimes, you will get an OutOfMemoryError not because your RDDs don’t fit in memory, but because the working set of one of your tasks, such as one of the reduce tasks in groupByKey, was too large. Spark’s shuffle operations (sortByKey, groupByKey, reduceByKey, join, etc) build a hash table within each task to perform the grouping, which can often be large. The simplest fix here is to increase the level of parallelism, so that each task’s input set is smaller. Spark can efficiently support tasks as short as 200 ms, because it reuses one executor JVM across many tasks and it has a low task launching cost, so you can safely increase the level of parallelism to more than the number of cores in your clusters.

В доке написано

Ага

Значит нужно level of parallelism поднять

Это может и не помочь

время попробовать

На мой взгляд лучше тебе ограничить набор данных. Помнишь опцию sample?

Попробуй поиграться с ее значением

Например 0.01 - 1% датасета

Вообще спарк обычно запускает на тоннах памяти(n-ом количестве машин) и неудивительно, что твоих 8 не хватает