В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 October 14

VE

Vladimir E. in Data Engineers
Renarde
ну по сути кейс кажется больше зависит от хранилки, нежели от execution engine. По сути нужен быстрый upsert по ключу, тут миллион вариантов - HBase, Cassandra, Aerospike, если у вас денег много - Redis
Вот да,хотелось бы что нибудь легковесное, бесплатное и просто в поддержке. Скорость не так важна
источник
17:40пожаловаться#1

VE

Vladimir E. in Data Engineers
Hbase не хочу потому что Hadoop dependency
источник
17:41пожаловаться#2

AZ

Anton Zadorozhniy in Data Engineers
Vladimir E.
Вот да,хотелось бы что нибудь легковесное, бесплатное и просто в поддержке. Скорость не так важна
хорошее, бесплатное, и качественное.. хм, прям есть из чего выбрать..
источник
17:42пожаловаться#3

VE

Vladimir E. in Data Engineers
Нужно чтоб это ещё и с датабриксом работало например
источник
17:42пожаловаться#4

R

Renarde in Data Engineers
Vladimir E.
Вот да,хотелось бы что нибудь легковесное, бесплатное и просто в поддержке. Скорость не так важна
- бесплатное
- легковесное
- просто в поддержке
- без hadoop-deps

PosgreSQL,мм? Вопрос еще сколько данных и с какой скоростью это будет прирастать
источник
17:42пожаловаться#5

R

Renarde in Data Engineers
Vladimir E.
Нужно чтоб это ещё и с датабриксом работало например
вообще Databricks умеет в апдейты с помощью Delta Lake, но это вот вообще не про real-time, как мы в нашем проекте выяснили…
источник
17:43пожаловаться#6

VE

Vladimir E. in Data Engineers
Согласен, здесь больше oltp случай
источник
17:43пожаловаться#7

I

Igor in Data Engineers
если денег много то Redis?
источник
17:43пожаловаться#8

M

Mi in Data Engineers
Renarde
- бесплатное
- легковесное
- просто в поддержке
- без hadoop-deps

PosgreSQL,мм? Вопрос еще сколько данных и с какой скоростью это будет прирастать
Ну и по скорости не критично)
источник
17:43пожаловаться#9

R

Renarde in Data Engineers
мы вот в похожем кейсе пока посматриваем на ScyllaDB
источник
17:44пожаловаться#10

VE

Vladimir E. in Data Engineers
У постгреса вроде upsert не очень, но я не спец в нём, может можно как то оптимизировать
источник
17:45пожаловаться#11

VE

Vladimir E. in Data Engineers
А что у постгреса с масштабированием одной таблицы?
источник
17:45пожаловаться#12

R

Renarde in Data Engineers
Вот тут есть интересная статейка, в ней смотрят на Postgres,MonetDB, HyPer (не знаю что это), Redis и Aerospike в сравнении:
https://bigdata.uni-saarland.de/publications/GSD17_extended.pdf
источник
17:46пожаловаться#13

VE

Vladimir E. in Data Engineers
Кстати, а почему для редиса нужно много денег?
источник
17:47пожаловаться#14

VE

Vladimir E. in Data Engineers
Renarde
Вот тут есть интересная статейка, в ней смотрят на Postgres,MonetDB, HyPer (не знаю что это), Redis и Aerospike в сравнении:
https://bigdata.uni-saarland.de/publications/GSD17_extended.pdf
Спасибо, почитаю!
источник
17:47пожаловаться#15

R

Renarde in Data Engineers
Vladimir E.
Кстати, а почему для редиса нужно много денег?
ну вот в нашем кейсе мы прикидочно посчитали и вышло как хрустальный мост, но у нас объекты очень большие
источник
17:48пожаловаться#16

R

Renarde in Data Engineers
еще кстати может быть DynamoDB ваш кейс, но это если у вас нет burst-load
источник
17:48пожаловаться#17

VE

Vladimir E. in Data Engineers
Это по цене за хардвар и платная поддержка?
источник
17:48пожаловаться#18

VE

Vladimir E. in Data Engineers
Посчитали
источник
17:49пожаловаться#19

R

Renarde in Data Engineers
Vladimir E.
Это по цене за хардвар и платная поддержка?
мы считали по AWS калькулятору, предполагая использовать AWS ElastiCache с Redis backend
источник
17:49пожаловаться#20