ПФ
Он сокращает STW паузы
Size: a a a
2019 August 24
GP
Никогда
на лонг ранинг он даёт;
ПФ
Надо немного комплекснее смотреть: у них у всех есть цена. Самый быстрый - это сериал потому что когда все потоки остановлены почистить мусор очень просто
GP
я именно комплексно и говорю и говорю в контексте Спарка; у датабрикс на удивление хорошая статья есть на тему выбора гц в спарке
ПФ
Так просто проходишь по графу и удаляешь всё недостижимое. У всех параллельных так просто не получится потому что достижимость объекта может меняться
ПФ
я именно комплексно и говорю и говорю в контексте Спарка; у датабрикс на удивление хорошая статья есть на тему выбора гц в спарке
А про Спарк я не могу говорить :(
ПФ
В идеале в контексте спарка Грааль должен давать нереальный выигрыш за счёт эскейп-анализа и инлайнинга лямбд
ПФ
Но как бенчмаркать Спарк приложения я не знаю
ПФ
Кстати, а почему на лонграннинг g1/parallel лучше? По идее там никого уже не должны волновать 3х-секундные паузы
GP
В идеале в контексте спарка Грааль должен давать нереальный выигрыш за счёт эскейп-анализа и инлайнинга лямбд
я не уверен что инлайн лямбд нереальный прирост даст для спарка; он всеравно в контекст хватает по минимуму все
GP
Кстати, а почему на лонграннинг g1/parallel лучше? По идее там никого уже не должны волновать 3х-секундные паузы
ПФ
Судя по коду сгенерённому из датасетов там есть что инлайнить
ПФ
Да, уже читаю, спасибо
GP
Судя по коду сгенерённому из датасетов там есть что инлайнить
я конкретно про кепчуринг лямбд; он контекст хватает, и сериализует все чтоб доставить на ноды; прирост будет но не уверен что катастрофический
GP
Посмотрим бенчами
ПФ
А, да, вполне вероятно что ты прав
GP
Разогретый хотспот может быть эффективнее
GP
особенно 11й
2019 August 25
ПФ
Я думаю вот о чём: редьюсы порождают огромное количество объектов промежуточных. Если редьюс превратить в foldLeft на каждой ноде - то можно объектов вообще не порождать,а использовать один
ПФ
Разогретый хотспот может быть эффективнее
Да, конечно может