Телеграмм чат группы hadoopusers страница 2170

Size: a a a

Data Engineers

2020 March 23

Release Release date End of life
CentOS 8 September 24, 2019 May 31, 2029
CentOS 7 July 7, 2014 June 30, 2024
CentOS 6 July 10, 2011 November 30, 2020

источник

11:28пожаловаться #1

Alex in Data Engineers

вы ничего не попутали? не 6 а 7 =)

источник

11:28пожаловаться #2

Stanislav in Data Engineers

до 24 года только серьюрити фиксы

источник

11:28пожаловаться #3

Stanislav in Data Engineers

основной цикл кончается в ноябре 20

источник

11:29пожаловаться #4

Mikhail Butalin in Data Engineers

Андрей Жуков

я так понял, человек пытается отработать падение ноды

ага, извиняюсь что не обозначил сразу =)

источник

11:33пожаловаться #5

Mikhail Butalin in Data Engineers

Alex

если он видит много отсутсвующих блоков то сразу же нужно посмотреть где эти блоки расположены, это старые таблицы или временные файлы и какой уровень репликации на них стоял

Выше писал, что RF=3 и кластер был консистентен

источник

11:34пожаловаться #6

Alex in Data Engineers

rf=3 это дефолтное поведение
когда пишешь всегда можно запросить на файл столько сколько нужно

источник

11:34пожаловаться #7

Mikhail Butalin in Data Engineers

я прогнал рекурсивно по всем файлам RF3

источник

11:35пожаловаться #8

Alex in Data Engineers

именно поэтому когда закидываешь файл в hdfs distributed cache то он идёт вроде по дефолту с rf=10

источник

11:35пожаловаться #9

Alex in Data Engineers

тогда странно

источник

11:35пожаловаться #10

Mikhail Butalin in Data Engineers

и у меня нет задач которые могут писать на РФ1

источник

11:35пожаловаться #11

Alex in Data Engineers

а сколько нод было?

источник

11:35пожаловаться #12

Mikhail Butalin in Data Engineers

источник

11:37пожаловаться #13

Alex in Data Engineers

тогда что-то странное
missing block в части UNDER_REPLICATED или CORRUPTED?

источник

11:39пожаловаться #14

Alex in Data Engineers

источник

11:40пожаловаться #15

Alex in Data Engineers

можете эту таблицу показать?

источник

11:40пожаловаться #16

Alex in Data Engineers

может мы о разном говорим =)
так как после выключения пока реплика не востановится у вас будут missing блоки
что ожидаемо

но вот corrupt (означает что для данного блока в кластере нету ни одной реплики и прочитать его не получится) не должно быть

источник

11:41пожаловаться #17

Mikhail Butalin in Data Engineers

на каждой по 10 дисков

источник

11:44пожаловаться #18

Alex in Data Engineers

неймнода до недавнего времени вообще не знала про диски

источник

11:47пожаловаться #19

Alex in Data Engineers

просто закидывала кому что нужно, даже проблема была с балансингом по дискам в пределах датаноды

источник

11:47пожаловаться #20