Size: a a a

2021 June 30

D

Dmitry in Data Engineers
это спарк и его catalyst optimizer, пусть и с наворотами
источник

D

Dmitry in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
Нормализация делается для интеграции и историзации данных, кому нужно - делали раньше 3NF модели, сейчас DV и Anchor (там свои преимущества по моделированию и автоматизации), много крупных и очень крупных хранилищ так живут и вполне счастливы
источник

AZ

Anton Zadorozhniy in Data Engineers
И не умеет RDD, написан на плюсах, экзекьюторы работают постоянно а не стартуют для джоба/запроса, ну и так далее
источник

AZ

Anton Zadorozhniy in Data Engineers
А так да, это Спарк)
источник

А

Алексей in Data Engineers
интересно еще, что HJ замен SMJ
источник

R

Renarde in Data Engineers
это не совсем верно. Photon включается в двух версиях, если угодно:
- SQL endpoint-ы
- job кластера

Для джоб кластеров работают все механики апскейла/даунскейла, экзекьюторы могут динамически гаситься/подниматься. Поддержки RDD нет, это правда
источник

NN

No Name in Data Engineers
А это все в облаках, он према нет?
источник

I

Ilya in Data Engineers
Мы однажды попробовали. Я был в роли того, кто должен был "бить по рукам", но не стал. Мне понравилось, оно работало и было классно. Но в той компании это явно было никому не нужно, поэтому как только мы (я и человек, который идею продвигал) ушли, они все выкинули и вернулись на Спарк.
источник

e

er@essbase.ru in Data Engineers
эээ там было про подход хранения данных , а не про "считалку"
источник

I

Ilya in Data Engineers
И что? Там был чувак, который все делал через Спарк.
источник

I

Ilya in Data Engineers
Думаю он и фронтенд бы на нем придумал как запилить
источник

I

Ilya in Data Engineers
Ну просто все в s3 сложили в кучу, убрав всю красоту волта
источник

GP

Grigory Pomadchin in Data Engineers
База была у него в спарке прям ин мемори?
источник

I

Ilya in Data Engineers
Мне очень нравилось, что можно назад по времени откатывать и смотреть, что было в данных месяц назад, например
источник

I

Ilya in Data Engineers
С какой целью интересуешься? :))
источник

I

Ilya in Data Engineers
База была в постгресе, там же был волт, который, как ты правильно отметил просто способ хранения, а не технология
источник

B

BadRat in Data Engineers
Какие бд более подходят для построения на них волта? Или все годится
источник

GP

Grigory Pomadchin in Data Engineers
не делал ли он игната
источник

AZ

Anton Zadorozhniy in Data Engineers
А для SQL endpoint?
источник