N
Никак. Как можно в key-value бд быстро делать произвольные батчевые агрегации с фильтрами? Она про другое. Отструивайте входящий поток данных и наваливайте его куда-то в эластик/кликхаус/ходуп/лучшую_в_мире_MPP_СУБД_Teradata/whatever.
Size: a a a
2021 February 24
AS
Всем привет! Нужна консультация или ссылка на статью. В данный момент используем cassandra. Данные хранятся за весь промежуток времени. Для оперативной с БД использую kibana ( но данные не за весь период). Мне нужно фильтрануть данные за весь период. В данный момент для этого я выгружаю данные из cassandra затем произвожу манипуляции. Проблема в том, что выгрузка идет часами. Если более корректно сформулировать вопрос: как работать с cassandra делая запросы "на лету"с фильтрами?
DataStax Studio чем не подходит?
для того что бы работало фильтраия по дате, надо ее зашивать в primary key
для того что бы работало фильтраия по дате, надо ее зашивать в primary key
RY
DataStax Studio чем не подходит?
для того что бы работало фильтраия по дате, надо ее зашивать в primary key
для того что бы работало фильтраия по дате, надо ее зашивать в primary key
я условно сказал про дату. в идеале хочется как в классическом SQL: select * from tbl where tbl.A=123
AS
ну так если A это ключ, то в чем проблема?
N
ну так если A это ключ, то в чем проблема?
в том, что все поля в ключ не запишешь
N
запросы произвольные
AS
в том, что все поля в ключ не запишешь
это я подталкиваю к пониманию, почему в nosql нельзя приходить с подходами как в обычных рсубд :)
RY
это я подталкиваю к пониманию, почему в nosql нельзя приходить с подходами как в обычных рсубд :)
это я прекрасно понимаю) но быть может есть инструменты которые позволят загрузить БД в память а там уже работать как с обычной sql БД. как понимаю в данном случае все упирается в объем оперативной памяти.
N
вы не в ту сторону воюете.
AE
это я прекрасно понимаю) но быть может есть инструменты которые позволят загрузить БД в память а там уже работать как с обычной sql БД. как понимаю в данном случае все упирается в объем оперативной памяти.
ну так выгрузите в обычную реляционку с memory storage, и работайте себе как обычно сколько хотите...
AE
nosql не просто так имеет приставку "no"
RY
вы не в ту сторону воюете.
куда смотреть?) я новичок
N
nosql не просто так имеет приставку "no"
одно время форсили, что это типа not only.
AE
щас ещё модно говорить про newsql
N
куда смотреть?) я новичок
ну промотайте наверх немного.
RY
ну промотайте наверх немного.
в общем продолжать работать как раньше?) выгружать данные на комп и там уже делать необходимые манипуляции
AE
nosql это обычно key-value store под капотом, с ним так и надо работать как с большой-преогромной hashmap, да ещё и с eventual consitency
AE
не предназначено оно для селектов
K
hbase норм селектится
A
Ну ты ещё сопроцессоры вспомни :)