Size: a a a

2021 February 24

AE

Alexey Evdokimov in Data Engineers
ну некоторые умеют прикидываться
источник

A

Alex in Data Engineers
Они вообще норм сканируют, правда одно неверное движение и регион сервер можно уронить
источник

K

KrivdaTheTriewe in Data Engineers
Alex
Они вообще норм сканируют, правда одно неверное движение и регион сервер можно уронить
ну если фулл скан , то чо нет, а так над знать как ключик лежит и все хорошо будет
источник

A

Alex in Data Engineers
Да все с ними норм, гоняли

Основная проблема была что если в момент инициализации сопроцессоры падал, то регион сервер не подымался

Поэтому и мазали везде try {} catch (Exception e)

А пару раз и Throwable

:) вроде в последних версиях уже починили
источник

AE

Alexey Evdokimov in Data Engineers
а внутре у hbase что? какой-то wide-column store по гугловым заветам?
источник

A

Alex in Data Engineers
Lms тот же как и везде
источник

N

Nikita Blagodarnyy in Data Engineers
KrivdaTheTriewe
hbase норм селектится
ну как сказать. когда данных много, произвольный запрос вы никогда не дождетесь.
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
ну как сказать. когда данных много, произвольный запрос вы никогда не дождетесь.
nosql это когда вы проектируете хранение под известные запросы
источник

N

Nikita Blagodarnyy in Data Engineers
Alexey Evdokimov
а внутре у hbase что? какой-то wide-column store по гугловым заветам?
селлами он хранит. ровкей, название колумн фемили, название колонки, данные в виде бинарного массива.
источник

N

Nikita Blagodarnyy in Data Engineers
KrivdaTheTriewe
nosql это когда вы проектируете хранение под известные запросы
в аналитике запросы почти никогда заранее неизвестны. и очень гетероморфны.
источник

A

Alex in Data Engineers
Nikita Blagodarnyy
селлами он хранит. ровкей, название колумн фемили, название колонки, данные в виде бинарного массива.
Ну там нюансы, каждый колумн фемили в отдельном файле, поэтому сканирование по колонке местами оптимально, но вообще да

Hbase лучше всего рассматривать как map<key, map<key, value>>
источник

AE

Alexey Evdokimov in Data Engineers
Nikita Blagodarnyy
селлами он хранит. ровкей, название колумн фемили, название колонки, данные в виде бинарного массива.
мапа мапов короче
источник

AE

Alexey Evdokimov in Data Engineers
ага :)
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
в аналитике запросы почти никогда заранее неизвестны. и очень гетероморфны.
ток для эдхок аналитики
источник

K

KrivdaTheTriewe in Data Engineers
а так стройте витрины)
источник

N

Nikita Blagodarnyy in Data Engineers
KrivdaTheTriewe
а так стройте витрины)
я и предложил коллеге не насиловать кассандру и упражняться в более аналитической бд.
источник

N

Nikita Blagodarnyy in Data Engineers
Alex
Ну там нюансы, каждый колумн фемили в отдельном файле, поэтому сканирование по колонке местами оптимально, но вообще да

Hbase лучше всего рассматривать как map<key, map<key, value>>
ну если кто-то продумал разделение по cf, то да. но так не всегда бывает, жахнут бывало в фениксе create table и готово.
источник

A

Alex in Data Engineers
С фениксом не работал, всегда сами схему дизайнили
источник

K

KrivdaTheTriewe in Data Engineers
ну мне больше нравился опыт хайва(со стораджем в хбейзе)
источник

N

Nikita Blagodarnyy in Data Engineers
он вроде только читать умел
источник