Size: a a a

2020 October 28

АА

Алексей Артамонов... in Data Engineers
я правда только второй день как хадуп ковыряю
источник

АА

Алексей Артамонов... in Data Engineers
поэтому заранее прошу за глупые вопросы (
источник

AZ

Anton Zadorozhniy in Data Engineers
а эти пользователи есть на неймноде?
источник

AS

Andrey Smirnov in Data Engineers
я в комментариях скинул пример, как я делаю
источник

SS

Sergey Sheremeta in Data Engineers
Andrey Smirnov
я в комментариях скинул пример, как я делаю
увидел, спасибо! сейчас попробую
источник

АА

Алексей Артамонов... in Data Engineers
Anton Zadorozhniy
а эти пользователи есть на неймноде?
да, я на одной из нод юпитер запускаю
источник

AB

Alexander Batyrshin in Data Engineers
Sergey Sheremeta
увидел, спасибо! сейчас попробую
config.set("hbase.htable.threads.coresize", "4") <— Сереж, такой опции больше нету. Есть hbase.htable.threads.max и по дефолту она у нас равна Integer.MAX_VALUE
источник

AS

Andrey Smirnov in Data Engineers
Alexander Batyrshin
config.set("hbase.htable.threads.coresize", "4") <— Сереж, такой опции больше нету. Есть hbase.htable.threads.max и по дефолту она у нас равна Integer.MAX_VALUE
у вас какая версия hbase, для 2.2 есть такое
источник

AB

Alexander Batyrshin in Data Engineers
Andrey Smirnov
у вас какая версия hbase, для 2.2 есть такое
“Больше нету” - это подразумевалось “еще нету”
источник

AB

Alexander Batyrshin in Data Engineers
1.4.13 у нас
источник

АА

Алексей Артамонов... in Data Engineers
@dartov я чуть позже запущу и ошибку покажу
источник

АА

Алексей Артамонов... in Data Engineers
а подскажите как применит параметры прописанные в core-site.xml
источник

АА

Алексей Артамонов... in Data Engineers
?
источник

AZ

Anton Zadorozhniy in Data Engineers
Алексей Артамонов
да, я на одной из нод юпитер запускаю
Пользователи должны быть на неймнодах созданы
источник

AZ

Anton Zadorozhniy in Data Engineers
Алексей Артамонов
а подскажите как применит параметры прописанные в core-site.xml
Там есть в dfsadmin refresh команды, но у вас кластер судя по всему игрушечный, просто рестартуйте все что амбари велит
источник

AB

Alexander Batyrshin in Data Engineers
Andrey Smirnov
у вас какая версия hbase, для 2.2 есть такое
В 1.4.13 corepool равен 1 и это хардкод
источник

AS

Andrey Smirnov in Data Engineers
Алексей Артамонов
а подскажите как применит параметры прописанные в core-site.xml
hdfs dfsadmin -refreshNodes вроде так
источник

AS

Andrey Smirnov in Data Engineers
Sergey Sheremeta
суть такова: есть hbase-kafka-proxy, который репликацию HBase заруливает в Kafka, но в топике Kafka в итоге сообщения с мутациями ( rowkey + измененное поле)
просто интересуюсь (не приходилось делать реликацию hbase кластеров), а чем стандартная репликация не подходит?
источник

АА

Алексей Артамонов... in Data Engineers
Anton Zadorozhniy
Там есть в dfsadmin refresh команды, но у вас кластер судя по всему игрушечный, просто рестартуйте все что амбари велит
нет амбари, это да дев кластер
источник

AS

Andrey Smirnov in Data Engineers
Алексей Артамонов
нет амбари, это да дев кластер
я прислал команды для консоли
источник