ὦ
:)
Size: a a a
2017 May 29
AM
Интересные курсовые пошли
JS
кхм...
ὦ
Товарищ криптографическую нейросетт делал
ὦ
Я бы до ума довел если бы не работа
r
Коллеги, кто-нить в этом году сдавал CCA 175?
NK
rubonz
Коллеги, кто-нить в этом году сдавал CCA 175?
а можно подробнее об этом экзамене ?
2017 May 30
ὦ
ὦ
ὦ
Заменил я значит в стартовом скрипте master на локал
и стало все работать, но не долго
все равно падает с ошибкой по памяти
~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master local[*] --total-executor-cores 14 --executor-memory 8g server.py
и стало все работать, но не долго
все равно падает с ошибкой по памяти
ὦ
Подсказали мне отключить лимит на память, как я понял делается это следующим образом
~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master local[*] --total-executor-cores 14 --executor-memory 6g --conf spark.memory.offHeap.enabled=true --conf spark.memory.offHeap.size=1111111111111111110 server.py
AM
Добавить оффхипа на максимум ? Прикольно!
AM
Интересно, как он себя поведёт если у тебя вся доступная память кончится. По идее у него есть настройка для использования диска
ὦ
Я вообще правильно понял "Отключить лимит на память" и правильно ли сделал?
AM
Ну смотри. То что ты настроил, говорит, что ты будешь брать память не из зарезервированного хипа Java процесса, а из доступной памяти системы(которая свободна от сборок мусора джавы) и предполагаю, если у тебя вся память кончится, то тоже будет не очень.
AM
По идее в таких случаях скидывают часть данных на диск и у спарка были такие опции
AM
Но, возможно для твоей курсовой - ничего страшного не произойдёт
ὦ
Так дело в том что я посмотрел свободную оперативку в систему
ὦ
и из 7 гигов свободен 1гигабайт
AM
Ну тогда это тебе даст +1гиг и своп.