Size: a a a

2021 January 06

A

Alex in Data Engineers
@dartov я это хорошо понимаю понимаю, поэтому и пинаю всегда что хдфс на локал дисках
источник

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
если у вас 25 пб то даже от падения рандомной стойки должно быть как слону дробина, узлов штук 500 поди?
360+
источник

СХ

Старый Хрыч... in Data Engineers
но свободного места меньше 15% а иногда и 6-8 на нодах
источник

AZ

Anton Zadorozhniy in Data Engineers
Старый Хрыч
но свободного места меньше 15% а иногда и 6-8 на нодах
а, ну вот и причина
источник

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
а, ну вот и причина
🤣😂и ребаланс выключен чтобы не мешал моделям
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
@dartov я это хорошо понимаю понимаю, поэтому и пинаю всегда что хдфс на локал дисках
посмотрим что ответит топик стартер, но похоже мы нашли один из крупных контрибьюторов в глобальное потепление
источник

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
а, ну вот и причина
это тебе и мне понятно, а богам нет
источник

AZ

Anton Zadorozhniy in Data Engineers
Старый Хрыч
это тебе и мне понятно, а богам нет
боги по определению omniscient (всезнающие?), если боги не знают - это самозванцы, костерчик надо готовить
источник

AZ

Anton Zadorozhniy in Data Engineers
по лучшим практикам бизнес данных в хдфс который держат он-прем на бареметале должно быть процентов на 50 капасити, дальше надо апгрейдиться
источник

AZ

Anton Zadorozhniy in Data Engineers
тогда удобно делать штуки вроде разделения кластеров (для апгрейда например), ну и поддерживать можно только в бизнес-часы, а не чахнуть над этим златом как кощей
источник

AZ

Anton Zadorozhniy in Data Engineers
а вообще хорошо чтобы бизнес-данных на PROD + UAT было процентов 30, тогда можно в UAT делать нормальные перфоманс тесты, всегда есть запас закинуть куда-то узлов
источник

AZ

Anton Zadorozhniy in Data Engineers
как прекрасно в облаках короче, все это безумие (умноженное на DR) никому не нужно
источник

АЖ

Андрей Жуков... in Data Engineers
Anton Zadorozhniy
как прекрасно в облаках короче, все это безумие (умноженное на DR) никому не нужно
Ну лет через 20 и в России облака станут обыденностью
источник

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
тогда удобно делать штуки вроде разделения кластеров (для апгрейда например), ну и поддерживать можно только в бизнес-часы, а не чахнуть над этим златом как кощей
😂🤣бизнес часы 24\7, тк контора работает он владивостока до калиниграда, и куча моделей считаются круглые сутки
источник

AZ

Anton Zadorozhniy in Data Engineers
Старый Хрыч
😂🤣бизнес часы 24\7, тк контора работает он владивостока до калиниграда, и куча моделей считаются круглые сутки
ну вот в одном крупном российском телекоме мы поддерживали только в бизнес-часы по москве, оно само работало в остальное время)
источник

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
ну вот в одном крупном российском телекоме мы поддерживали только в бизнес-часы по москве, оно само работало в остальное время)
ну я тоже не встаю ночью, но утро начинается с амбари и рестартов
источник

АЖ

Андрей Жуков... in Data Engineers
Старый Хрыч
это тебе и мне понятно, а богам нет
Любишь ты бдсм-бизнес
источник

СХ

Старый Хрыч... in Data Engineers
Андрей Жуков
Любишь ты бдсм-бизнес
😂у вас тоже тот ещё бдсм
источник

АЖ

Андрей Жуков... in Data Engineers
Старый Хрыч
😂у вас тоже тот ещё бдсм
Миф
источник

СХ

Старый Хрыч... in Data Engineers
ну у меня инсайд инфа, правда уже прошло больше года но думаю не сильно поменялось
источник