Size: a a a

2019 July 10

A

Alex in Data Engineers
Точно
источник

A

Alex in Data Engineers
Так устроена jvm
источник

PA

Polina Azarova in Data Engineers
мне по метрикам показалось, что последняя не выиграла)
попробую ещё, спасибо!
источник

VZ

Vitali Z in Data Engineers
не по метрикам смотри а грепни процесс какие опции он запустил
источник

A

Alex in Data Engineers
Polina Azarova
мне по метрикам показалось, что последняя не выиграла)
попробую ещё, спасибо!
источник

A

Alex in Data Engineers
Polina Azarova
мне по метрикам показалось, что последняя не выиграла)
попробую ещё, спасибо!
https://docs.oracle.com/javase/8/docs/technotes/guides/troubleshoot/tooldescr006.html

Even if you have provided no flags, some of the default values will be printed, for example initial and maximum heap size.

jcmd <process id/main class> VM.flags
источник

PA

Polina Azarova in Data Engineers
источник

PA

Polina Azarova in Data Engineers
Спасибо)
источник

PA

Polina Azarova in Data Engineers
А при 24Гб на NN, под журнал 2Гб хипа хватит?
источник

MB

Mikhail Butalin in Data Engineers
зависит от размера кластера
источник

MB

Mikhail Butalin in Data Engineers
у нас на 512ГБ стояло 2 пока однажды не зафейлилась NN :)
источник

MB

Mikhail Butalin in Data Engineers
Народ, запущенную джобу в шедуллере можно как-то ограничить по ресурсам на лету? А то у меня один деятель стартанул джобу и забил всё ИО на кластере :(
источник

MB

Mikhail Butalin in Data Engineers
килять нуу низзя :(
источник

B

Buzz in Data Engineers
Ограничить ресурсы на шедулере. Ярн сами по убивает некоторые мапперы/редьюсеры
источник

B

Buzz in Data Engineers
Джоба не кильнется но кильнутся мапперы/редьюсеры
источник

PA

Polina Azarova in Data Engineers
Mikhail Butalin
у нас на 512ГБ стояло 2 пока однажды не зафейлилась NN :)
512Гб хранилища всего кластера или хипа неймноды?
источник

MB

Mikhail Butalin in Data Engineers
512гб рам а ноде
источник

MB

Mikhail Butalin in Data Engineers
кластер 30тб
источник

PA

Polina Azarova in Data Engineers
Много маленьких файликов?
источник

MB

Mikhail Butalin in Data Engineers
мм... не то чтобы
источник