VS
там 2 такие сетевушки в bound
Это логично, но сеть все равно маленькая. У нас восстановление ноды может занимать до нескольких часов, и это меньше диск и шустрее сеть
Size: a a a
2020 March 04
ME
конечно, в условиях когда их пару сотен то это штатная ситуация
Короче, советую провести учения и посмотреть как вводится новая datanode и rebalance на неё данные зашлет, увидите много интересного
VS
С вашими железками, я так подозреваю, можно ждать сутки
ME
я видел как такие диски деградируют до 25мб/с на запись
A
Короче, советую провести учения и посмотреть как вводится новая datanode и rebalance на неё данные зашлет, увидите много интересного
так это регулярно, у нас больше проблем с неймнодой, 240гб в xmx и 180гб из них занято =\
сейчас смотрим на фередацию, но rbf ещё в бете, а через viewfs проблемы с поддержкой всяких питонов с их webhdfs
сейчас смотрим на фередацию, но rbf ещё в бете, а через viewfs проблемы с поддержкой всяких питонов с их webhdfs
ME
Где вы работаете?
АЖ
Капец у вас задачи интересные.. А кто нибудь тут просто делает витрины и ETL, а не космолеты хадупы поверх нескольких ЦОД для риалтаймстримов с космических аппаратов?
ну в основном их и делаем :)
A
https://issues.apache.org/jira/browse/HDFS-13671
с месяц назад нарвались, на больших удалениях неймнода уходит в несознанку
есть подозрение что лок сразу же захватывается в коде после отпускания
по стектрейсу больше всего похоже что внутри лока всегда и торчит
с месяц назад нарвались, на больших удалениях неймнода уходит в несознанку
есть подозрение что лок сразу же захватывается в коде после отпускания
по стектрейсу больше всего похоже что внутри лока всегда и торчит
ME
Весело у вас
A
присоединяйтесь =) в Тае тепло, правда в Бангкоке зимой смог частенько бывает
АЖ
присоединяйтесь =) в Тае тепло, правда в Бангкоке зимой смог частенько бывает
SO
ну в основном их и делаем :)
Да, но по обсуждениям в чате складывается совсем другое ощущение=)
A
так витрины тоже могут быть большими, хотя для пользователя это 1-2 sql запроса и пох что терабайты молотятся
АЖ
Да, но по обсуждениям в чате складывается совсем другое ощущение=)
Слушай, ну мужики собрались вместе.
Не хочется же рассказывать, что ты 38 часов в неделю пишешь етл! Вот и трещим только про те 2 часа проектирования зведолетов
Не хочется же рассказывать, что ты 38 часов в неделю пишешь етл! Вот и трещим только про те 2 часа проектирования зведолетов
АЖ
это как страдать из-за того, что у кого-то жизнь интереснее, делая выводы по инстаграму
A
о, раз про звездолёты пошла речь:
кто-нибудь прикручивал delegation tokens к impala ?
кто-нибудь прикручивал delegation tokens к impala ?
A
hdfs/yarn/hive умеет в них
livy не умеет
impala до конца ещё не понял
livy не умеет
impala до конца ещё не понял
A
а то в кластер керберос завозим и много боли .... особенно со всякими интерактивными задачами
AZ
мы уже почти открутили импалу у всех клиентов, а вы прикручивать что-то к ней хотите 😊