神
если знаешь алгоритм то почему на создании сразу не создать нужные регионы?
Не знаю.
Size: a a a
2019 July 01
神
Как распределяются ключи - это отдельные изыскания.
A
в плане примерное распределение, на чем-то же оно основано
залили один раз, посмотрел как размазаны
набросал темлпейт для разбивки следующий раз
залили один раз, посмотрел как размазаны
набросал темлпейт для разбивки следующий раз
神
Никак, если не указал регионов при создании таблицы, будет просто по ходу записи сплитить. Если для вас запись больших(относительно вашего кластера) регионов - частая(или больная) задача, советую глянуть в сторону предварительной подготовки HFile'ов, так снимите нагрузку с HBase и перенесете её на spark: https://medium.com/hashmapinc/3-steps-for-bulk-loading-1m-records-in-20-seconds-into-apache-phoenix-99b77ad87387
Спасибо, почитаю.
神
особенно на начале, когда всё влетит в 1 регион
Значит сначала в один, а потом этот один растаскивается по мере появления новых?
A
да, у тебя сейчас ситуация:
1 регион, все ломятся в него
hbase решает что надо сплитнуться
делает 2 региона, после деления там еще и компакшен идет, ты в это время сверху пишешь в эти 2 региона
потом опять делятся которые растут и тд
1 регион, все ломятся в него
hbase решает что надо сплитнуться
делает 2 региона, после деления там еще и компакшен идет, ты в это время сверху пишешь в эти 2 региона
потом опять делятся которые растут и тд
神
да, у тебя сейчас ситуация:
1 регион, все ломятся в него
hbase решает что надо сплитнуться
делает 2 региона, после деления там еще и компакшен идет, ты в это время сверху пишешь в эти 2 региона
потом опять делятся которые растут и тд
1 регион, все ломятся в него
hbase решает что надо сплитнуться
делает 2 региона, после деления там еще и компакшен идет, ты в это время сверху пишешь в эти 2 региона
потом опять делятся которые растут и тд
М-да, пипец. Тогда понятно.
A
если ключи во входном потоке более менее размазаны, то пресоздав сразу с нужными границами ты размажешь нагрузку сразу же
A
иначе выход на более менее равномерную загрузку кластера произойдет совсем не сразу
神
если ключи во входном потоке более менее размазаны, то пресоздав сразу с нужными границами ты размажешь нагрузку сразу же
То есть я могу создать нужное кол-во регионов и задать для них границы на старте?
A
да
神
Ага... Спасибо!!
A
37.7
A
ну и вариант что выше было на медиум с балклоадом,
там вообще в чистом виде нету работы с регион серверами
спарк готовит hfiles и заливает их на hdfs
после этого дергает апи чтобы зарегистрировать их в самой hbase table
там вообще в чистом виде нету работы с регион серверами
спарк готовит hfiles и заливает их на hdfs
после этого дергает апи чтобы зарегистрировать их в самой hbase table
神
ну и вариант что выше было на медиум с балклоадом,
там вообще в чистом виде нету работы с регион серверами
спарк готовит hfiles и заливает их на hdfs
после этого дергает апи чтобы зарегистрировать их в самой hbase table
там вообще в чистом виде нету работы с регион серверами
спарк готовит hfiles и заливает их на hdfs
после этого дергает апи чтобы зарегистрировать их в самой hbase table
В этом случае придётся самому писать логику, по которой запись попадает в конкретный файл или у спарка есть решения?
A
Не использовал, поэтому не скажу
VZ
ну и вариант что выше было на медиум с балклоадом,
там вообще в чистом виде нету работы с регион серверами
спарк готовит hfiles и заливает их на hdfs
после этого дергает апи чтобы зарегистрировать их в самой hbase table
там вообще в чистом виде нету работы с регион серверами
спарк готовит hfiles и заливает их на hdfs
после этого дергает апи чтобы зарегистрировать их в самой hbase table
EN
Есть вопрос по памяти в ярне.
Допустим есть 3 машины по 100гб.
В настройках указывается максимальная память доступаня на ноде 100гб.
Но под приложения будет выделено всего 100? или же все 300????
Допустим есть 3 машины по 100гб.
В настройках указывается максимальная память доступаня на ноде 100гб.
Но под приложения будет выделено всего 100? или же все 300????
ЕГ
300