D
это спарк и его catalyst optimizer, пусть и с наворотами
Size: a a a
2021 June 30
D
AZ
Нормализация делается для интеграции и историзации данных, кому нужно - делали раньше 3NF модели, сейчас DV и Anchor (там свои преимущества по моделированию и автоматизации), много крупных и очень крупных хранилищ так живут и вполне счастливы
AZ
И не умеет RDD, написан на плюсах, экзекьюторы работают постоянно а не стартуют для джоба/запроса, ну и так далее
AZ
А так да, это Спарк)
А
интересно еще, что HJ замен SMJ
R
это не совсем верно. Photon включается в двух версиях, если угодно:
- SQL endpoint-ы
- job кластера
Для джоб кластеров работают все механики апскейла/даунскейла, экзекьюторы могут динамически гаситься/подниматься. Поддержки RDD нет, это правда
- SQL endpoint-ы
- job кластера
Для джоб кластеров работают все механики апскейла/даунскейла, экзекьюторы могут динамически гаситься/подниматься. Поддержки RDD нет, это правда
NN
А это все в облаках, он према нет?
I
Мы однажды попробовали. Я был в роли того, кто должен был "бить по рукам", но не стал. Мне понравилось, оно работало и было классно. Но в той компании это явно было никому не нужно, поэтому как только мы (я и человек, который идею продвигал) ушли, они все выкинули и вернулись на Спарк.
e
эээ там было про подход хранения данных , а не про "считалку"
I
И что? Там был чувак, который все делал через Спарк.
I
Думаю он и фронтенд бы на нем придумал как запилить
I
Ну просто все в s3 сложили в кучу, убрав всю красоту волта
GP
База была у него в спарке прям ин мемори?
I
Мне очень нравилось, что можно назад по времени откатывать и смотреть, что было в данных месяц назад, например
I
С какой целью интересуешься? :))
I
База была в постгресе, там же был волт, который, как ты правильно отметил просто способ хранения, а не технология
B
Какие бд более подходят для построения на них волта? Или все годится
GP
не делал ли он игната
AZ
А для SQL endpoint?