Size: a a a

2021 January 19

N

Nikita Blagodarnyy in Data Engineers
Там в самом амбари есть документация по ролям, которые можно назначать юзерам/группам. И какие у них могут быть привилегии.
источник

N

Nikita Blagodarnyy in Data Engineers
Да и какбэ зачем? Сделайте юзеру в цеппе свой интерпретатор и разрешите рестартовать его. Зачем весь цеппелин-то рестартовать?
источник

N

Nikita Blagodarnyy in Data Engineers
Граждане, поясните, пожалуйста за gc. Вот эти все постоянные total time-это минорные сборки?
источник
2021 January 20

ПФ

Паша Финкельштейн... in Data Engineers
источник

A

Alex in Data Engineers
Nikita Blagodarnyy
Граждане, поясните, пожалуйста за gc. Вот эти все постоянные total time-это минорные сборки?
Нет, вам читать про safepoints

Сборка была только одна где вот эта [GC allocation failure

В процессе работы иногда нужно делать деоптимизации кода и много другой магии

Чтобы их сделать нужно остановить все потоки

Но для начала довести их до безопасной точки

Вот и пишут сколько стояли на сейфпоинте, а сколько заняло их довести но них (кто-то быстрее пришёл, кто-то позже)
источник

A

Alex in Data Engineers
источник

N

Nikita Blagodarnyy in Data Engineers
источник

Kk

Krishna k in Data Engineers
I did then got this error
источник

N

Nikita Blagodarnyy in Data Engineers
Alex
Нет, вам читать про safepoints

Сборка была только одна где вот эта [GC allocation failure

В процессе работы иногда нужно делать деоптимизации кода и много другой магии

Чтобы их сделать нужно остановить все потоки

Но для начала довести их до безопасной точки

Вот и пишут сколько стояли на сейфпоинте, а сколько заняло их довести но них (кто-то быстрее пришёл, кто-то позже)
А вообще, когда ParNew минорные сборки молотят постоянно, лучше раздувать eden, чтобы они были реже и длиннее или наоборот урезать, чтобы были короче, но часто?
источник

A

Alex in Data Engineers
а смотря что вам нужно =) лэтенси или троутпут
источник

A

Alex in Data Engineers
я же не знаю что у вас за сервис
источник

A

Alex in Data Engineers
но учитывайте что почти все сборщики молодое поколение собирают в STW
даже если старшее и могут собирать конкурентно
источник

A

Alex in Data Engineers
говорю как минимум за CMS, G1
источник

N

Nikita Blagodarnyy in Data Engineers
Alex
я же не знаю что у вас за сервис
NodeManager. Так что скорее троутпут. churn довольно большой.
источник

N

Nikita Blagodarnyy in Data Engineers
Alex
говорю как минимум за CMS, G1
ну cms вообще в eden не работает, только в старом.
источник

A

Alex in Data Engineers
да, но смотрите чтобы сильно большими паузы тоже не стали

классическая проблема кассанды и иногда зоокипера, когда по таймауту ноды начинают отваливаться на gc
источник

A

Alex in Data Engineers
источник

A

Alex in Data Engineers
у нас пару раз так неймноды переключались
источник

A

Alex in Data Engineers
Nikita Blagodarnyy
ну cms вообще в eden не работает, только в старом.
да, но там parnew на еден обычно ставят
были случаи когда у меня спрашивали “у нас ведь cms, почему сборка молодого останавливает работу”
(это было когда под молодое выделили 50%+ от хипа)
источник

N

Nikita Blagodarnyy in Data Engineers
Alex
да, но смотрите чтобы сильно большими паузы тоже не стали

классическая проблема кассанды и иногда зоокипера, когда по таймауту ноды начинают отваливаться на gc
я может что-то не понимаю, но судя по графикам, вся его работа-это одна сплошная пауза.
Желтая расческа-это я где я потюнил вчера, а оранжевое-где нет.
источник