Size: a a a

2021 January 06

СХ

Старый Хрыч... in Data Engineers
по большей части ради 11 java runtime и возможности ставить shenandoah, вместо cms
источник

A

Alex in Data Engineers
на хадуп то понятно
там вагон говна пофиксили
даже observer node добавили для read only операций (думаем переезжать в q1 и потестить)
источник

СХ

Старый Хрыч... in Data Engineers
Alex
на хадуп то понятно
там вагон говна пофиксили
даже observer node добавили для read only операций (думаем переезжать в q1 и потестить)
руководству не понятно, они думают только о фичах, а у меня уже нейнодам хреново и yarn дохнет ежедневно
источник

A

Alex in Data Engineers
shenandoah где-то с 1.5 года назад тестили, когда ещё он в java 8 был
на неймнод хипе в 240гб вёл в какой-то момент себя непонятно выедая всё цпу

потом вроде как баг этот в нём пофиксили, но повторно тесты не делали
источник

СХ

Старый Хрыч... in Data Engineers
смотришь yarn а он пишет заюзано 12 тб оперативы😂
источник

СХ

Старый Хрыч... in Data Engineers
Alex
shenandoah где-то с 1.5 года назад тестили, когда ещё он в java 8 был
на неймнод хипе в 240гб вёл в какой-то момент себя непонятно выедая всё цпу

потом вроде как баг этот в нём пофиксили, но повторно тесты не делали
на 8 shenandoah так себе, ему 11 нужна
источник

СХ

Старый Хрыч... in Data Engineers
разница оч велика между на 8ке и на 11 в его работе
источник

СХ

Старый Хрыч... in Data Engineers
😐я бы вообще zgc хотел на такие объмы памяти, у неймноды запись на 25 пб данных на датанодах
источник

СХ

Старый Хрыч... in Data Engineers
просто уже надоело начинать день с перезапуска служб на 10-15 нодах
источник

СХ

Старый Хрыч... in Data Engineers
периодически рандомной ноде становится плохо, и модели сильно просаживаются по времени выполнения
источник

A

Alex in Data Engineers
ну норм место, примерно как у нас, правда у нас почему-то не рестартуют =) всё работает более-менее
источник

СХ

Старый Хрыч... in Data Engineers
надо выводить ноду, ребутать, и вводить заново
источник

СХ

Старый Хрыч... in Data Engineers
Alex
ну норм место, примерно как у нас, правда у нас почему-то не рестартуют =) всё работает более-менее
ну у вас на мастер нодах и неймнодах не стоят кассандры с эластиками
источник

СХ

Старый Хрыч... in Data Engineers
и вертики
источник

A

Alex in Data Engineers
ну ССЗБ это же практика, а не решение
источник

A

Alex in Data Engineers
мне кажется ты переносишь её с собой между компаниями =) либо умело находишь
источник

СХ

Старый Хрыч... in Data Engineers
Alex
ну ССЗБ это же практика, а не решение
😂ну это же не я придумал я пришёл только 10 декабря
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
почему может? это же стандартная практика

рейд на скайзи и реликация в хадупе “вы не понимаете, это другое”
репликация через прекрасный айскази, а если локал дирс там же, то это вообще перманентный стресс тест сетей
источник

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
репликация через прекрасный айскази, а если локал дирс там же, то это вообще перманентный стресс тест сетей
сети это отдельная боль всегда, особенно когда между некоторыми нодами скорость падает до 100 мбит
источник

AZ

Anton Zadorozhniy in Data Engineers
Старый Хрыч
периодически рандомной ноде становится плохо, и модели сильно просаживаются по времени выполнения
если у вас 25 пб то даже от падения рандомной стойки должно быть как слону дробина, узлов штук 500 поди?
источник