Size: a a a

2020 March 23

A

Alex in Data Engineers
Release Release date End of life
CentOS 8 September 24, 2019 May 31, 2029
CentOS 7 July 7, 2014 June 30, 2024
CentOS 6 July 10, 2011 November 30, 2020
источник

A

Alex in Data Engineers
вы ничего не попутали? не 6 а 7 =)
источник

S

Stanislav in Data Engineers
до 24 года только серьюрити фиксы
источник

S

Stanislav in Data Engineers
основной цикл кончается в ноябре 20
источник

MB

Mikhail Butalin in Data Engineers
Андрей Жуков
я так понял, человек пытается отработать падение ноды
ага, извиняюсь что не обозначил сразу =)
источник

MB

Mikhail Butalin in Data Engineers
Alex
если он видит много отсутсвующих блоков то сразу же нужно посмотреть где эти блоки расположены, это старые таблицы или временные файлы и какой уровень репликации на них стоял
Выше писал, что RF=3 и кластер был консистентен
источник

A

Alex in Data Engineers
rf=3 это дефолтное поведение
когда пишешь всегда можно запросить на файл столько сколько нужно
источник

MB

Mikhail Butalin in Data Engineers
я прогнал рекурсивно по всем файлам RF3
источник

A

Alex in Data Engineers
именно поэтому когда закидываешь файл в hdfs distributed cache то он идёт вроде по дефолту с rf=10
источник

A

Alex in Data Engineers
тогда странно
источник

MB

Mikhail Butalin in Data Engineers
и у меня нет задач которые могут писать на РФ1
источник

A

Alex in Data Engineers
а сколько нод было?
источник

MB

Mikhail Butalin in Data Engineers
8
источник

A

Alex in Data Engineers
тогда что-то странное
missing block в части UNDER_REPLICATED или CORRUPTED?
источник

A

Alex in Data Engineers
источник

A

Alex in Data Engineers
можете эту таблицу показать?
источник

A

Alex in Data Engineers
может мы о разном говорим =)
так как после выключения пока реплика не востановится у вас будут missing блоки
что ожидаемо

но вот corrupt (означает что для данного блока в кластере нету ни одной реплики и прочитать его не получится) не должно быть
источник

MB

Mikhail Butalin in Data Engineers
на каждой по 10 дисков
источник

A

Alex in Data Engineers
неймнода до недавнего времени вообще не знала про диски
источник

A

Alex in Data Engineers
просто закидывала кому что нужно, даже проблема была с балансингом по дискам в пределах датаноды
источник