K
Нет, я иногда немножко кринжую от того, что такой прошаренный чел как ты не знает элементарных вроде штук
каких имено, ключей джавы?
Size: a a a
2020 May 24
K
пизда
ну я знаю, что можно стек поднять, я полез это делать, сразу вбил ключи, которыми я польщуюсь, но ты все таки сказал, что я не прав ( но это было позже) , я к сожалению не очень запоминаю такого рода информацию
GP
ну я знаю, что можно стек поднять, я полез это делать, сразу вбил ключи, которыми я польщуюсь, но ты все таки сказал, что я не прав ( но это было позже) , я к сожалению не очень запоминаю такого рода информацию
Ну знаешь мне кажется Олег слишком вежливый что б озвучить это; он прав что спаркисты часто всметл того что бы разобраться в чем дело просто добавляют ядер там памяти и тп
GP
А потом получается что кластер стоит дороже одной жирной тачки внезапно
GP
и весь пойнт спарка то или 1. Удешевить 2. Посчитать то что нельзя на тачке что незя на одной
K
Ну знаешь мне кажется Олег слишком вежливый что б озвучить это; он прав что спаркисты часто всметл того что бы разобраться в чем дело просто добавляют ядер там памяти и тп
разобраться порой сложно, ну смотри у тебя есть параметры: количество ядер, количество памяти, количество инстансов, число кусков на которое ты делишь данные изначально , это уже сложно подобрать оптимально к задаче конкретной
K
а тут предлагается, что нужно и параметрами джавы управлять
K
и скорее всего, джава уже на кластере настроена вендором нормально( ну типа челики попарились и какие-то рекомендации выработали)
2020 May 25
K
Поэтому есь смысл тюнит жвм параметры для спарк программы , только после того как ты оптимизировал все остальное
K
Банально обновив версию спарка получаешь более эффективный план запроса потому что каталист там начал каке-то новые оптимизации поддерживать
K
Ну знаешь мне кажется Олег слишком вежливый что б озвучить это; он прав что спаркисты часто всметл того что бы разобраться в чем дело просто добавляют ядер там памяти и тп
это можно сказать про всех разрабов
GP
это можно сказать про всех разрабов
Да не, в большедате больше таких что не уделяют внимания жвм - как раз по тем причинам что ты описал