Size: a a a

2019 November 08

АМ

Антон Михеев... in Qlik BI chat
vizlib пардон
источник

АМ

Антон Михеев... in Qlik BI chat
все нашел)
источник

AZ

Alex Zhr in Qlik BI chat
Коллеги, добрый вечер

При попытке загрузить приложение из qmc выдает ошибку на моменте  подключении OLEDB(Login failed. The login is from an untrusted domain and cannot be used with Windows authentication). Десктопная версия загружает данные корректно.
Возможно кто-то сталкивался, подскажите в какую сторону копать
источник

IB

Igor Burobin in Qlik BI chat
Источник данных SQL Server c виндоус аутентификацией?
источник

IB

Igor Burobin in Qlik BI chat
То что запускается из QMC запускается под учеткой под которой сервисы Qlik запущены на сервере. Эта учетная запись точно имеет доступ к базе данных через Windows аутентификацию?
источник

AZ

Alex Zhr in Qlik BI chat
Igor Burobin
То что запускается из QMC запускается под учеткой под которой сервисы Qlik запущены на сервере. Эта учетная запись точно имеет доступ к базе данных через Windows аутентификацию?
Хм, спасибо, буду смотреть в эту сторону
источник

АВ

Анатолий Ветринцев... in Qlik BI chat
Всем привет. У меня есть две таблицы фактов, одна на 50 столбцов и 70 млн записей, другая на 10 столбцов и 30 млн. Связаны один ко многим (1 к 1 в 90%, и 1 к 2 в остальных). Есть примерно 8 столбцов с высокой кардинальностью. Нет синт.ключей. Так вот все это ужасно тормозит, расчёт четырёх графиков с простым сетом - 2-3 минуты. Хотя там сервак 1 тб ОЗУ, куча  ядер и т д. Ресурс не утилизируется на 100%. Это в принципе норма для клика и таких объёмов или надо общаться с поддержкой и можно что то докрутить в настройках?
источник

АВ

Анатолий Ветринцев... in Qlik BI chat
Подскажите, а в сводной таблице, в формуле цвета я могу ссылаться на столбец, для которого считается формула? И могу ли взять максимум по столбцу? строке? и т.д. не прописывая формулу в самом столбце?
источник

SN

Sergey Nazarkin in Qlik BI chat
Анатолий Ветринцев
Всем привет. У меня есть две таблицы фактов, одна на 50 столбцов и 70 млн записей, другая на 10 столбцов и 30 млн. Связаны один ко многим (1 к 1 в 90%, и 1 к 2 в остальных). Есть примерно 8 столбцов с высокой кардинальностью. Нет синт.ключей. Так вот все это ужасно тормозит, расчёт четырёх графиков с простым сетом - 2-3 минуты. Хотя там сервак 1 тб ОЗУ, куча  ядер и т д. Ресурс не утилизируется на 100%. Это в принципе норма для клика и таких объёмов или надо общаться с поддержкой и можно что то докрутить в настройках?
Оптимизация винды даёт ощутимый прирост
источник

АВ

Анатолий Ветринцев... in Qlik BI chat
Sergey Nazarkin
Оптимизация винды даёт ощутимый прирост
Ну т е может быть быстрее?
источник

OT

Oleg Troyansky in Qlik BI chat
Анатолий Ветринцев
Всем привет. У меня есть две таблицы фактов, одна на 50 столбцов и 70 млн записей, другая на 10 столбцов и 30 млн. Связаны один ко многим (1 к 1 в 90%, и 1 к 2 в остальных). Есть примерно 8 столбцов с высокой кардинальностью. Нет синт.ключей. Так вот все это ужасно тормозит, расчёт четырёх графиков с простым сетом - 2-3 минуты. Хотя там сервак 1 тб ОЗУ, куча  ядер и т д. Ресурс не утилизируется на 100%. Это в принципе норма для клика и таких объёмов или надо общаться с поддержкой и можно что то докрутить в настройках?
Конечно это хорошо бы посмотреть вблизи, но несколько общих замечаний:
1. Клик работает лучше с одной большой таблицей, чем с двумя. Я бы попробовал обьединить таблицы и посмотреть что получится.
2. Я бы проанилизовал аппликацию с помощью Document Analyzer и посмотрел что конкретно тормозит.
3. Если поля из двух таблиц используются в одной формуле - то это будет очень медленно, лучше если все числовые поля сведены вместе в одну таблицу.
4. С такими обьёмами данных, нужно быть особенно осторожным с тяжёлыми функциями типа AGGR или IF. Несколько минут обработки звучит как или очень детальный AGGR, или SUM(IF())
источник

OT

Oleg Troyansky in Qlik BI chat
Анатолий Ветринцев
Всем привет. У меня есть две таблицы фактов, одна на 50 столбцов и 70 млн записей, другая на 10 столбцов и 30 млн. Связаны один ко многим (1 к 1 в 90%, и 1 к 2 в остальных). Есть примерно 8 столбцов с высокой кардинальностью. Нет синт.ключей. Так вот все это ужасно тормозит, расчёт четырёх графиков с простым сетом - 2-3 минуты. Хотя там сервак 1 тб ОЗУ, куча  ядер и т д. Ресурс не утилизируется на 100%. Это в принципе норма для клика и таких объёмов или надо общаться с поддержкой и можно что то докрутить в настройках?
Но в целом, такие обьёмы данных, когда всё правильно настроено, должны работать значительно быстрее на таком мощном сервере. Время обработки должно измеряться в секундах, не в минутах.
источник
2019 November 09

АВ

Анатолий Ветринцев... in Qlik BI chat
Oleg Troyansky
Конечно это хорошо бы посмотреть вблизи, но несколько общих замечаний:
1. Клик работает лучше с одной большой таблицей, чем с двумя. Я бы попробовал обьединить таблицы и посмотреть что получится.
2. Я бы проанилизовал аппликацию с помощью Document Analyzer и посмотрел что конкретно тормозит.
3. Если поля из двух таблиц используются в одной формуле - то это будет очень медленно, лучше если все числовые поля сведены вместе в одну таблицу.
4. С такими обьёмами данных, нужно быть особенно осторожным с тяжёлыми функциями типа AGGR или IF. Несколько минут обработки звучит как или очень детальный AGGR, или SUM(IF())
Олег, спасибо за развёрнутый ответ.

1. Тогда придётся sum менять на count(distinct ...) (у нас есть много флаговых полей). И пока не очень понятно как работать с деньгам например, когда они задвоятся из за джоина:(

2. Спрошу такой инструмент, спасибо.

3. Да, фильтрую по одной таблице, считаю в другой, и наоборот.

4. Конкретные тормоза без заковыристых функций. Мы постарались все выпрямить в самих таблицах. Но все равно медленно.
источник

OT

Oleg Troyansky in Qlik BI chat
Анатолий Ветринцев
Олег, спасибо за развёрнутый ответ.

1. Тогда придётся sum менять на count(distinct ...) (у нас есть много флаговых полей). И пока не очень понятно как работать с деньгам например, когда они задвоятся из за джоина:(

2. Спрошу такой инструмент, спасибо.

3. Да, фильтрую по одной таблице, считаю в другой, и наоборот.

4. Конкретные тормоза без заковыристых функций. Мы постарались все выпрямить в самих таблицах. Но все равно медленно.
count distinct не рекомендую, особенно в графиках с измерениями - очень медленно.

Объединить две таблицы можно и без Join - можно построить Concatenated Fact, но там есть свои сложности, которые нужно уметь решать. Я бы порекомендовал привлечь специалиста. У вас много толковых ребят, которые знают как обращаться с большими данными.

Ещё нужно проверить сервер и сравнить его архитектуру с рекомендациями от Qlik. Можно купить огромный и дорогой сервер, который не подходит для работы с Qlik. Нужно искать white list from Qlik Scalability Group.
источник

АВ

Анатолий Ветринцев... in Qlik BI chat
Oleg Troyansky
count distinct не рекомендую, особенно в графиках с измерениями - очень медленно.

Объединить две таблицы можно и без Join - можно построить Concatenated Fact, но там есть свои сложности, которые нужно уметь решать. Я бы порекомендовал привлечь специалиста. У вас много толковых ребят, которые знают как обращаться с большими данными.

Ещё нужно проверить сервер и сравнить его архитектуру с рекомендациями от Qlik. Можно купить огромный и дорогой сервер, который не подходит для работы с Qlik. Нужно искать white list from Qlik Scalability Group.
Соединять факты в одно место, но пробрасывать только категорийные поля? Протестирую не след неделе, интересно даже стало. Но тогда точно потеряется возможность фильтровать по суммам :( или придётся писать сложные формулы с P(). Я надеялся на простую связку по ключу.
источник

OT

Oleg Troyansky in Qlik BI chat
Анатолий Ветринцев
Соединять факты в одно место, но пробрасывать только категорийные поля? Протестирую не след неделе, интересно даже стало. Но тогда точно потеряется возможность фильтровать по суммам :( или придётся писать сложные формулы с P(). Я надеялся на простую связку по ключу.
К сожалению, с большими данными простые решения не всегда работают. Прежде чем менять что-либо, я бы всйо-таки порекоммендовал диагностику с Document Analyzer:

https://www.qlikviewcookbook.com/tools
источник

АВ

Анатолий Ветринцев... in Qlik BI chat
Oleg Troyansky
К сожалению, с большими данными простые решения не всегда работают. Прежде чем менять что-либо, я бы всйо-таки порекоммендовал диагностику с Document Analyzer:

https://www.qlikviewcookbook.com/tools
Олег, большое спасибо!
источник

OT

Oleg Troyansky in Qlik BI chat
Анатолий Ветринцев
Олег, большое спасибо!
Удачи!
источник
2019 November 10

АВ

Анатолий Ветринцев... in Qlik BI chat
Oleg Troyansky
count distinct не рекомендую, особенно в графиках с измерениями - очень медленно.

Объединить две таблицы можно и без Join - можно построить Concatenated Fact, но там есть свои сложности, которые нужно уметь решать. Я бы порекомендовал привлечь специалиста. У вас много толковых ребят, которые знают как обращаться с большими данными.

Ещё нужно проверить сервер и сравнить его архитектуру с рекомендациями от Qlik. Можно купить огромный и дорогой сервер, который не подходит для работы с Qlik. Нужно искать white list from Qlik Scalability Group.
А еще вопрос. Есть справочники(тематики, люди и т д) их штук 6. Они только 1к1 с фактами. Их лучше оставить как есть, или будет прирост производительности если я их сразу сджоиню к фактам?
источник

OT

Oleg Troyansky in Qlik BI chat
Анатолий Ветринцев
А еще вопрос. Есть справочники(тематики, люди и т д) их штук 6. Они только 1к1 с фактами. Их лучше оставить как есть, или будет прирост производительности если я их сразу сджоиню к фактам?
Если все таблицы объединить в одну, то расход памяти увеличится намного. Прирост производительности (скорости) может быть в отдельных случаях, но далеко не всегда. Если в справочниках есть цифровые величины, на которые умножают, к примеру, то их обязательно нужно перевести в таблицу фактов.
источник