K
что мне делать то
Size: a a a
2021 June 10
AZ
тут периодически пробегают люди которые спрашивают почему SQL в Ignite работает медленно)
K
если нужно в хадупе
N
ну а что, игнайт вон какой хороший
AZ
nobody's perfect
N
а что бы ты хотел сделать в спарке с этим блобом? просто переложить? если бы он вынимался, например.
AB
я это даже не трогал, только в дипломной работе упоминал) но судя по архитектуре оно и не могло работать быстро
K
я думал я уволюсь в тот момент
K
корчое, если можно сделать составной ключ без этого поля, то проблема решаема
S
От обьемов и типа сырья зависит. Если вы около айти продуктов, то у вас сплошные клик стримы с мало джйонов, можно успешно зайти в кликхауз. Пример иви. Если вы в энтепрайзе с кучей реляционок, берите мпп типа гп. Хадуп - у вас или очень много данных, или вам нужен обжект стор и вы понимаете почему аналитики будут плакать от хайва и спарка
S
Хотя даже от вертики можно поплакать, чо там
AZ
архитектурно Firebolt самое многообещающее хранилище, в плане ресурсов пушить свою повестку Databricks круче всех, а адепты открытого кода тихонько ждут когда iceberg станет мазаться на хлеб
DZ
Заклинаю вас, не делайте даталейк на вертике. Проще блядь научить ребенка программировать
AB
ахаха vertica никогда :) я как коммитер в кликхаус идейно против
AZ
даталейк вообще обычно делают в объектном сторадже, реляционки появляются для детального слоя, или уже как витрины (если независимые витрины)
AZ
кликхаус как система для витрин с несложным SQL наверное норм (правда наши тесты он никак не проходит пока, ждем улучшения поддержки языка)
SS
А какие у вас тесты?
AZ
мы гоняем tpch/tpcds и еще всякую мелочь через tdbench
AB
а как витрины делаете? у нас тут гугловский Looker хотят прикрутить, честно говоря мне кажется та ещё приблуда, до него metabase жил)
AZ
все стандартный SQL, причем без каких-то относительно свежих наворотов вроде темпоральных, условно SQL 2006-2008