Size: a a a

2020 March 04

VS

Vladislav 👻 Shishkov in Data Engineers
Alex
там 2 такие сетевушки в bound
Это логично, но сеть все равно маленькая. У нас восстановление ноды может занимать до нескольких часов, и это меньше диск и шустрее сеть
источник

ME

Mikhail Epikhin in Data Engineers
Alex
конечно, в условиях когда их пару сотен то это штатная ситуация
Короче, советую провести учения и посмотреть как вводится новая datanode и rebalance на неё данные зашлет, увидите много интересного
источник

VS

Vladislav 👻 Shishkov in Data Engineers
С вашими железками, я так подозреваю, можно ждать сутки
источник

ME

Mikhail Epikhin in Data Engineers
я видел как такие диски деградируют до 25мб/с на запись
источник

A

Alex in Data Engineers
Mikhail Epikhin
Короче, советую провести учения и посмотреть как вводится новая datanode и rebalance на неё данные зашлет, увидите много интересного
так это регулярно, у нас больше проблем с неймнодой, 240гб в xmx и 180гб из них занято =\
сейчас смотрим на фередацию, но rbf ещё в бете, а через viewfs проблемы с поддержкой всяких питонов с их webhdfs
источник

ME

Mikhail Epikhin in Data Engineers
Где вы работаете?
источник

АЖ

Андрей Жуков in Data Engineers
Simon Osipov
Капец у вас задачи интересные.. А кто нибудь тут просто делает витрины и ETL, а не космолеты хадупы поверх нескольких ЦОД для риалтаймстримов с космических аппаратов?
ну в основном их и делаем :)
источник

A

Alex in Data Engineers
https://issues.apache.org/jira/browse/HDFS-13671

с месяц назад нарвались, на больших удалениях неймнода уходит в несознанку
есть подозрение что лок сразу же захватывается в коде после отпускания
по стектрейсу больше всего похоже что внутри лока всегда и торчит
источник

A

Alex in Data Engineers
Mikhail Epikhin
Где вы работаете?
источник

ME

Mikhail Epikhin in Data Engineers
Весело у вас
источник

A

Alex in Data Engineers
присоединяйтесь =) в Тае тепло, правда в Бангкоке зимой смог частенько бывает
источник

АЖ

Андрей Жуков in Data Engineers
Alex
присоединяйтесь =) в Тае тепло, правда в Бангкоке зимой смог частенько бывает
источник

SO

Simon Osipov in Data Engineers
Андрей Жуков
ну в основном их и делаем :)
Да, но по обсуждениям в чате складывается совсем другое ощущение=)
источник

A

Alex in Data Engineers
так витрины тоже могут быть большими, хотя для пользователя это 1-2 sql запроса и пох что терабайты молотятся
источник

АЖ

Андрей Жуков in Data Engineers
Simon Osipov
Да, но по обсуждениям в чате складывается совсем другое ощущение=)
Слушай, ну мужики собрались вместе.
Не хочется же рассказывать, что ты 38 часов в неделю пишешь етл! Вот и трещим только про те 2 часа проектирования зведолетов
источник

АЖ

Андрей Жуков in Data Engineers
это как страдать из-за того, что у кого-то жизнь интереснее, делая выводы по инстаграму
источник

A

Alex in Data Engineers
о, раз про звездолёты пошла речь:
кто-нибудь прикручивал delegation tokens к impala ?
источник

A

Alex in Data Engineers
hdfs/yarn/hive умеет в них
livy не умеет
impala до конца ещё не понял
источник

A

Alex in Data Engineers
а то в кластер керберос завозим и много боли .... особенно со всякими интерактивными задачами
источник

AZ

Anton Zadorozhniy in Data Engineers
мы уже почти открутили импалу у всех клиентов, а вы прикручивать что-то к ней хотите 😊
источник