Size: a a a

Архитектура данных

2020 April 13

PD

Phil Delgyado in Архитектура данных
По идее, у логов и у данных для аналитики слишком разный жизненный цикл, им плохо в одном хранилище.
источник

БП

Богдан Помазан in Архитектура данных
Phil Delgyado
По идее, у логов и у данных для аналитики слишком разный жизненный цикл, им плохо в одном хранилище.
Да, для этого и делают loki.
Но никто не мешает хранить все в CH в другом инстансе.
источник

БП

Богдан Помазан in Архитектура данных
Кстати, тогда нужно впиливать BI.
Metabase например
У которого есть подключения ко всем БД  актуальным.
источник

PD

Phil Delgyado in Архитектура данных
Богдан Помазан
Да, для этого и делают loki.
Но никто не мешает хранить все в CH в другом инстансе.
Да, иметь два разных CH - хороший вариант.
источник

PD

Phil Delgyado in Архитектура данных
А у Metabase есть драйвер к СH? И какие цели у BI?
источник

БП

Богдан Помазан in Архитектура данных
Phil Delgyado
А у Metabase есть драйвер к СH? И какие цели у BI?
Да, на просторах гитхаба лежит работающий.

Что бы ручками запросы не писать, да дашборды строить.
источник

БП

Богдан Помазан in Архитектура данных
BI в первую очередь дашборды,
источник

БП

Богдан Помазан in Архитектура данных
а именно в Metabase удобный дизайнер запросов (кроме прямого запроса в SQL)
источник

PD

Phil Delgyado in Архитектура данных
Так нужны именно прямые запросы в SQL, все остальное работает плохо (
источник

БП

Богдан Помазан in Архитектура данных
Phil Delgyado
Так нужны именно прямые запросы в SQL, все остальное работает плохо (
Смотря какой рынок.
Вот я работаю с крупными торговыми сетями, там аналитики это девочки вчера увидели CRM, а не то что BI
источник

PD

Phil Delgyado in Архитектура данных
Просто у меня по опыту дашборды все равно программист рисует - и зачастую дешевле взять CH, разработчика на реакте и набор виджетов кибаны - и без всякого BI.
источник

PD

Phil Delgyado in Архитектура данных
А если аналитик не умеет в SQL - то это точно аналитик?
источник

PD

Phil Delgyado in Архитектура данных
Т.е. нужно ли ему запросы писать сверх предусмотренных?
источник

БП

Богдан Помазан in Архитектура данных
Phil Delgyado
Т.е. нужно ли ему запросы писать сверх предусмотренных?
Да. Потому что сегодня так, через пол года так.
источник

БП

Богдан Помазан in Архитектура данных
скажем так, я беру крупній офлайн старый бизнес.
Которые только начали менять процессы.
источник

PD

Phil Delgyado in Архитектура данных
А как он пишет эти запросы - если он "девочка, вчера увидела CRM"?
источник

PD

Phil Delgyado in Архитектура данных
Если что - я реально с этой частью рынка не сталкивался и мне очень интересно, это не наезды.
источник

БП

Богдан Помазан in Архитектура данных
В общем дело такое.
Есть сотни крупніх офлайн контор, которые дуб дубом.
У них 1 сисадмин, ERP на дельфи, десятки магазинов и тд, базы 1с.
Я лично работаю с CRM Creatio, а точнее у нас есть плагины и продукт  на его базе,
а сама СРМ єто и есть озеро данных.
Тоесть тупо реализовываем в нем нужную структуру, пишем АПИ для обмена с системами клиента,
СРМ же конечно делает интерфейс Разделы /CRUD.

И вот там уже есть дизайнер дашбордов, на базе НЕЙМИНГА полей
источник

БП

Богдан Помазан in Архитектура данных
вот сейчас, проект на 3 месяца что бі напилить обмен в одну сторону 5 обьектов
источник

БП

Богдан Помазан in Архитектура данных
источник