Size: a a a

2021 August 18

SP

Sergey Polekhin in Qlik BI chat
Как раз подход Qlik и является универсальным в отличие от прямых запросов. Попробуйте-ка например,  сделать прямой запрос к источника
источник

NI

Nikita Ilin in Qlik BI chat
Вот простой кейс, загрузить здоровую таблицу фактов и по ней делать анализ (фильтры, агрегации, группировки, count distinct, несложные расчётные показатели и измерения), ведь довольно стандартная задача просто на бОльшем объеме данных
источник

ИС

Игорь Степанов... in Qlik BI chat
+
источник

SP

Sergey Polekhin in Qlik BI chat
Попробуйте-ка сделать запрос к набору источников, данные которых находятся в общей модели,  но эти источники: текстовый файл на пару сотен миллионов строк, xml-файл такого же объёма,  REST-сервис с объёмом данных хотя бы в несколько десятков миллионов записей и какая-нибудь БД. И посчитайте- сколь такой запрос будет выполняться. Если вдруг это взлетит хотябы на одном пользователе, то попробуйте поработать в таком режиме прямых запросов хотя бы одной сотней пользователей с непредсказуемой комбинацией фильтров. После чего задайте себе вопрос- а взлетит ли это хотя бы на каком-нибудь сколь бы то ни было большом и дорогом оборудовании?
А ведь в Qlik такое работает универсально и без вопросов
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Давайте я наброшу) direct query - это костыль power bi, призванный хоть как-то ускорить его тормозную модель данных)
источник

SP

Sergey Polekhin in Qlik BI chat
Точно. Просто я не стал уж так прямо писать, а то скажут: "архитектор Qlik поливает нечистотами конкурентов". Но по сути - верно на 100 %
источник

SP

Sergey Polekhin in Qlik BI chat
Для начала нужно определиться с тем, что такое "большая таблица". Если она не превышает единиц миллиардов записей, то Qlik работает с этим прекрасно сам. Без каких-либо продвинутых и дорогих источников
источник

NI

Nikita Ilin in Qlik BI chat
Так я имею в виду случай, когда построено уже единое готовое хранилище, к примеру, на базе ClickHouse и с ним единственным работает Qlik
источник

SP

Sergey Polekhin in Qlik BI chat
Встречный вопрос: сколько у вас данных в этом хранилище в процентном отношении по отношению к общему объёму данных, который реально используют пользователи для анализа?
источник

NI

Nikita Ilin in Qlik BI chat
Вы имеете в виду то, что в Power BI не строятся transient hypercube? На самом деле из моего понимания, Qlik строят под каждый виджет маленький куб и за счёт этого работает всё быстро. Тогда как Power BI шлёт обычные SQL запросы в их vertipaq engine и этот engine каждый раз сканирует полностью кубы
источник

NI

Nikita Ilin in Qlik BI chat
Ну даже пару миллиардов, которая ещё и постоянно догружается ( раз в несколько минут к примеру)
источник

SP

Sergey Polekhin in Qlik BI chat
Т.е. насколько вообще задачи управленческого анализа ложатся на идею того, что все данные кем-то готовятся и погружены в тот же ClickHouse?
источник

SP

Sergey Polekhin in Qlik BI chat
Обычно великим достижением является, если хотя бы 60% данных лежат в хранилище. Всё остальное- по сусекам. И чем в таком случае поможет наличие прямых запросов?
источник

NI

Nikita Ilin in Qlik BI chat
Было бы интересно узнать, почему вы считаете Power BI более медленным
источник

SP

Sergey Polekhin in Qlik BI chat
Прямые запросы - это очень ограниченный подход. Только для источников,  которые их поддерживают, только по предподготовоенным наборам измерений
источник

SP

Sergey Polekhin in Qlik BI chat
По практике. Абсолютно немасштабируемое решение. Не может одновременно масштабироваться на сотни миллионов записей с которыми вразнобой одновременно работают тысячи пользователей
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Таков мой проектный опыт. Есть проект который в Qlik даёт отклик за секунду, и на той же машине в pbi полвисает до минуты
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
В корректности модели на pbi уверены
источник

SP

Sergey Polekhin in Qlik BI chat
Любые решения подобного размера предполагают жёсткий тюнинг каждого отдельного сценария внутри каждого отдельного приложения и каждого отдельного источника на основе которого делаются расчёты
источник

NI

Nikita Ilin in Qlik BI chat
А вы не пытались разобраться почему такие серьёзные различия?
источник