EN
в любом случае конкретный тормоз это не повод сразу менять СУБД)
не я просто хотел узнать какие еще юзают\другие подходы)
Size: a a a
2020 February 20
EN
как вставляли, batch или по одной записи?
zeppelin spark read orc transform write format phoenix..
dynamic allocation 200max executors
dynamic allocation 200max executors
AS
zeppelin spark read orc transform write format phoenix..
dynamic allocation 200max executors
dynamic allocation 200max executors
осталось понять как пишет феникс
AZ
не я просто хотел узнать какие еще юзают\другие подходы)
ну для вашего кейса наверное можно на монгу посмотреть, хотя такое тоже...
AS
а так я вспоминаю что мы писали код для спарка, для того чтобы он bulk писал сразу в hbase
AZ
zeppelin spark read orc transform write format phoenix..
dynamic allocation 200max executors
dynamic allocation 200max executors
как вариант - сохранять из спарка в файл и потом phoenix bulk load tool вызывать, но он вроде умел только csv и json
AZ
осталось понять как пишет феникс
построчно он пишет
AS
построчно он пишет
кажется мы нашли тормоза, hbase не виноват
AZ
кажется мы нашли тормоза, hbase не виноват
финикс тоже тот еще подарок
AZ
там могут быть какие-то вторичные индексы, RI и куча другой логики, которая может тормозить
K
я коннектором писал в хбейз
K
работал прям напрямую
K
дажсо стримингом работает
RI
При использовании phoenix нельзя в hbase писать напрямую, как я помню феникс пишет в обратно порядке байты. Можно писать файлы как asPhoenixTable и потом их закидывать
N
При использовании phoenix нельзя в hbase писать напрямую, как я помню феникс пишет в обратно порядке байты. Можно писать файлы как asPhoenixTable и потом их закидывать
Строки можно через Bytes.toBytes(), числа через nested static class типа (PInteger, PVarchar и т.п.) можно кодировать/декодировать.
RI
Строки можно через Bytes.toBytes(), числа через nested static class типа (PInteger, PVarchar и т.п.) можно кодировать/декодировать.
Буду знать, когда нужно было не нашел инфу как сконвертировать
N
Насколько я понимаю, это вот тут
N
Я сейчас обратную задачу решаю, как прочитать из hbase написанное фениксом. Строки читаются на ура, числа как-то нестабильно. Нихрена непонятно, что за оффсет используется во всех методах. Если кто понимает-заделитесь.
AZ
Я сейчас обратную задачу решаю, как прочитать из hbase написанное фениксом. Строки читаются на ура, числа как-то нестабильно. Нихрена непонятно, что за оффсет используется во всех методах. Если кто понимает-заделитесь.
А если не секрет зачем вы вообще Финикс используете? Напрямик будет быстрее, надежнее и гибче