D
рекламная брошюра. они там говорят, что ничего кроме датабрикса не нужно. лайв таблички загрузят данные и и их же смотрит BI
Size: a a a
2021 September 29
AZ
По рекламным брошюрам никто не строит большие решения, всё-таки архитектура прорабатывается нормальными инженерами, а брошюры фиксируют какие-то привлекательные детали и завлекают людей в тент
D
мне кажется большинство их как бест практис воспринимает. плюс у них же там всякие курсы, они там именно эти брошюрки именно с таким пониманием lighthouse и пересказывают.
кстати тот самый Инмон буквально вчера под диктовку датабрикса книгу про lighthouse выкатил, и мне кажется понятно что они ему надиктовали
кстати тот самый Инмон буквально вчера под диктовку датабрикса книгу про lighthouse выкатил, и мне кажется понятно что они ему надиктовали
AZ
Ну там ещё DBIO есть, а в Photon кэширование ещё больше, но поинт не в этом; если вы СТО или CIO, и у вас есть DV на датабриксе который строит витрины вовремя, а боттом лайн меньше чем у сборной солянки из МРР и витринных систем - вам глубоко наплевать что там делается лишний шафл
AZ
Спарк никогда не был и видимо не будет системой которая выигрывает благодаря своей скорости или возможности выжать максимум из железа, это и на датабрикс распространяется, его производительность «достаточная»
D
для меня сложности не в скорости, а то что приходится поприседать, что бы хоть как-то заработало. и мне кажется DV/archer на таких платформах сильно увеличит кол-во таких приседаний. вот отсюда и мое удивление. неужели те кто понимают что такое спарк, что за приседания требуются, все равно пойдут строить DV/archer
AZ
Все дело в том самом боттомлайне, где-то инженеры дешевы и их можно бросать на такие задачи, где-то дешевле использовать зрелую СУБД которая требует меньше усилий чтобы запрос из трёх десятков джоинов заработал ;)
2021 September 30
SS
коллеги, привет!
у нас новая библия? (или тут только про Спарк говорят?)
https://databricks.com/p/ebook/building-the-data-lakehouse
у нас новая библия? (или тут только про Спарк говорят?)
https://databricks.com/p/ebook/building-the-data-lakehouse
DT
Датабрикс лишь одна из разновидностей спарка
NN
Так он про книгу и Инмона, а не про датабрикс.
VP
Инмон продался датакбриксу? Расходимся )
D
Мы все кому то продаемся
D
Главное сделать это подороже
D
имя Инмона и на предыдущем опусе "Data Lake Architecture: Designing the Data Lake and Avoiding the Garbage Dump", но судя по постам блога сам Инмон ее не читал. в новом опусе сразу виден ундюшачий маркенг. в опусе утверждается, что у датабрикса есть acid и вообще вывернуто так буд-то в даталейке их dela.io с фейковым acid не бывает
NN
Честно, мне без разницы.
Я не из церкви свидетелей Инмона и не фанат датабрикса, и я догадываюсь, что маркетинг и реальность могут отличаться.
Ну а то, что acid костыльный у них, как и в iceberg/hudi - по мне так лучше, чем полное его отсутствие. Знаю компании, которым этого достаточно вполне.
Я не из церкви свидетелей Инмона и не фанат датабрикса, и я догадываюсь, что маркетинг и реальность могут отличаться.
Ну а то, что acid костыльный у них, как и в iceberg/hudi - по мне так лучше, чем полное его отсутствие. Знаю компании, которым этого достаточно вполне.
D
рад за компании. но мне кажется это печально, когда уже и в специализированных книгах от именитых спецов пишут начинают булшит заталкивать
AS
А в чем костыльность acid?
D
она в пределах одной таблички, как и у худи и остальных.
AS
Так, а у кого в мире бигдаты по другому?
D
не знаю. я знаю что таое acid и почему еще 10 лет назад джунера не подпускали к данным без этого знания