Size: a a a

2021 May 14

R

Robert'); DROP TABLE... in Data Engineers
On-demand для прода я опять же уже прикинул по всем, интересует именно стоимость в месяц минимальной такой базы, чтобы поиграться просто. Если кто пользовался BigQuery/Snowflake.
источник

AZ

Anton Zadorozhniy in Data Engineers
а у вас сейчас есть хранилище где-то? может разово загрузить и погонять бенчмарки?
источник

R

Robert'); DROP TABLE... in Data Engineers
Типа запустить на пару дней-неделю и посмотреть, сколько натикает баксов? Это вариант, но я как раз хотел узнать, может, кто уже это за меня сделал и результатами поделится)
источник

AZ

Anton Zadorozhniy in Data Engineers
все сильно зависит от характера нагрузки, сколько разных классов потребителей данных, какие у них требования
источник

R

Robert'); DROP TABLE... in Data Engineers
Понятно что от ворклоада зависит, но мне очень приблизительно было бы ок
источник

R

Robert'); DROP TABLE... in Data Engineers
Условно, сколько стоит сама БД, если я в нее пишу, а пользуются её два с половиной аналитика пару раз в день
источник

AZ

Anton Zadorozhniy in Data Engineers
до терабайта данных все это будет очень дешево (относительно конечно)
источник

AZ

Anton Zadorozhniy in Data Engineers
мы постоянно делаем бенчмарки, но у нас самый маленький - 100 ТБ
источник

R

Robert'); DROP TABLE... in Data Engineers
Ну вот редшифт нельзя сделать "ондеманд", если не лить данные в S3, а ондеманд получается ~250$/месяц по моим приблизительным подсчетам. Дорого? Нет, но "на поиграться" и не очень дешево, и объем смешной
источник

R

Robert'); DROP TABLE... in Data Engineers
У меня максимум будут терабайты данных, в будущем может десятки терабайт
источник

R

Robert'); DROP TABLE... in Data Engineers
А на поиграться так вовсе <100 GB
источник

R

Robert'); DROP TABLE... in Data Engineers
Но там не везде сторедж это доминирующий фактор в прайсинге
источник

AZ

Anton Zadorozhniy in Data Engineers
у вас какая-то некоммерческая организация? или какое-то личное хранилище? просто 250 в месяц это даже обсуждать смешно
источник

AZ

Anton Zadorozhniy in Data Engineers
(мы своим инженерам даем каждому 50-100 в месяц облачных кредитов no questions asked, просто чтобы они могли сделать прототип какой-то, или попробовать технологию)
источник

R

Robert'); DROP TABLE... in Data Engineers
Это мелочи, но я хочу сравнить с альтернативами, только и всего
источник

AZ

Anton Zadorozhniy in Data Engineers
если вы "играетесь" то и ваш счет в конце месяца не будет показательным бенчмарком, я бы загрузил куда-нибудь, понял нагрузку, сформировал бенчмарк, и попробовал куда-то еще положить
источник

R

Robert'); DROP TABLE... in Data Engineers
Всё так, но приятно, когда я могу оценить примерно затраты заранее. Я знаю, сколько у меня данных есть/будет, и on-demand прайсинг модель понятная - платишь за машинное время, простаивают они или нет, неважно.
Надо действительно попробовать все 3, наверное, самый простой вариант.
источник

AZ

Anton Zadorozhniy in Data Engineers
могу сказать что так делают компании с многими терабайтами и петабайтами данных, из-за разницы технологий, подходов к ресурсному управлению, ценовой политики при масштабировании (см сноуфлейк) посчитать что-то "на берегу" трудно и часто невозможно
источник

AZ

Anton Zadorozhniy in Data Engineers
Firebolt еще попробуйте
источник

I

Ilya in Data Engineers
Просто интересно, сколько стоит час вашей работы? Не получился ли в результате, что пока вы думаете о том, стоит ли тратить 250, вы могли бы делать что-то ещё, принеся фирме 1000?
источник