R
Size: a a a
2020 May 25
SZ
судя по описанию бОльшая часть проблем будет по согласованию архитектуры хранения с правами доступа
это меньшее из зол. пользователи в БД напрямую не лазят.
основная проблема - это KV + schema-less (это не супер-критично, но хотелось бы) + range scan.
основная проблема - это KV + schema-less (это не супер-критично, но хотелось бы) + range scan.
SZ
и автоматический sharding/re-sharding чтоб был)
R
Товарищи, вот хочется найти OSS-решение, на котором можно было бы построить schema-less аналог BigTable. HBase - вроде то, что надо, но тяжеловесен. Прожует ли это все Tarantool+Vinyl?
Вот чего есть сейчас:
- таблица на ~10B+ записей
- таблицей пользуются разные пользователи, которые могут видеть только свою часть данных таблицы
- поля/столбцы в строках таблицы для каждого пользователя тоже свои (но иногда могут пересекаться)
- паттерн доступа
- частое сохранение записей
- частое обновление записей по ключу
- частое получение записей по ключу
- частое получение записей по префиксу ключа
- периодический скан всех записей какого-то конкретного пользователя и/или всех пользователей
- кол-во пользователей таблицы не ограничено, но ориентируюсь на 100-1000
Вот чего есть сейчас:
- таблица на ~10B+ записей
- таблицей пользуются разные пользователи, которые могут видеть только свою часть данных таблицы
- поля/столбцы в строках таблицы для каждого пользователя тоже свои (но иногда могут пересекаться)
- паттерн доступа
- частое сохранение записей
- частое обновление записей по ключу
- частое получение записей по ключу
- частое получение записей по префиксу ключа
- периодический скан всех записей какого-то конкретного пользователя и/или всех пользователей
- кол-во пользователей таблицы не ограничено, но ориентируюсь на 100-1000
можно глянуть в сторону ArangoDB
MA
это меньшее из зол. пользователи в БД напрямую не лазят.
основная проблема - это KV + schema-less (это не супер-критично, но хотелось бы) + range scan.
основная проблема - это KV + schema-less (это не супер-критично, но хотелось бы) + range scan.
под эти критерии тарантул заходит отлично
MA
хранилище не требует схемы (тип определяется только ля индексированных полей)
индексы позволяют range scan
vshard даёт шардинг с решардингом
индексы позволяют range scan
vshard даёт шардинг с решардингом
MA
но, как уже было сказано: вам придётся вручную резолвить доступ пользователя к данным, т.к. в рамках спейса нет никакого разделения доступа
SZ
но, как уже было сказано: вам придётся вручную резолвить доступ пользователя к данным, т.к. в рамках спейса нет никакого разделения доступа
эт приемлемо. пасиб!
DS
но, как уже было сказано: вам придётся вручную резолвить доступ пользователя к данным, т.к. в рамках спейса нет никакого разделения доступа
я думаю что тарантульная схема пермиссий вообще неприменима тут
MA
А вообще так вот, философский вопрос, для каких целей вы бы стали применять тарантул в своём новом проекте?
Э-э-э...
Для любых?
Это БД общего назначения из которой в том чеисле можно сделать что угодно специализированное
Такие проекты в Mail.ru, как Облако или S3 полностью базируются на Tarantool, причём там десятки различных кластеров для самого разного назначения: основные хранилища, очереди, кеши, метаданные, сессии, токены...
Для любых?
Это БД общего назначения из которой в том чеисле можно сделать что угодно специализированное
Такие проекты в Mail.ru, как Облако или S3 полностью базируются на Tarantool, причём там десятки различных кластеров для самого разного назначения: основные хранилища, очереди, кеши, метаданные, сессии, токены...
DS
*почти любой ОЛТП
DS
в олап я бы все таки не полез
DS
Вместо кафки? Вместо постгреса? Вместо монги?
Yes©
MA
Вместо кафки? Вместо постгреса? Вместо монги?
да. очередей выше крыши. и гораздо удобнее, чем с другими брокерами
вмето постгри/mysql — однозначно. реляционные подходы отлично ложатся.
вместо монги — да, конечно. документоориентированный подход возможен.
вмето постгри/mysql — однозначно. реляционные подходы отлично ложатся.
вместо монги — да, конечно. документоориентированный подход возможен.
MA
Меня интересует "вместо кафки" ;)
MA
Есть ещё https://github.com/tarantool/sharded-queue, но... спорно
DS
и еще парочка