Size: a a a

2020 December 26

GE

Galina E in Qlik BI chat
Vyacheslav Panov
По ощущениям с only() работает дольше, я просто не дождался, пока выполнится скрипт. Поэтому и решил уточнить здесь, смутила статья, ссылку на которую выше привел
Я бы проверяла на базе на конкретной версии 😉. Когда много полей в group by точно дольше работает на больших объемах.поэтому я использовала 2 приема - лишннее ключевое поле, которое в group by ставишь или сокращение кол-ва записей для обработки - например по месяцам побить.
А only  в вашем случае тоже самое, что max - поле есть, а в group by оно не нужно, так как год в значении месяца зашит.

Про статью не знала, но тоже самое читала в каком-то англоязычном источнике на форуме qlik
источник

ZS

Zhenya Skrebanov in Qlik BI chat
Galina E
Я бы проверяла на базе на конкретной версии 😉. Когда много полей в group by точно дольше работает на больших объемах.поэтому я использовала 2 приема - лишннее ключевое поле, которое в group by ставишь или сокращение кол-ва записей для обработки - например по месяцам побить.
А only  в вашем случае тоже самое, что max - поле есть, а в group by оно не нужно, так как год в значении месяца зашит.

Про статью не знала, но тоже самое читала в каком-то англоязычном источнике на форуме qlik
Коллеги, также не забывайте, что групп бай, отрабатывает на 1 ядре, даже если их много. Может быть в полседних версиях кликов и сенсов как-то обошли это (поправьте, если кто знает), но обычно, это одноядерная функция, соответственно на больших массивах, с агрегацией по многим полям, каждая новая агрегация замедляет отработку.
источник

GE

Galina E in Qlik BI chat
Zhenya Skrebanov
Коллеги, также не забывайте, что групп бай, отрабатывает на 1 ядре, даже если их много. Может быть в полседних версиях кликов и сенсов как-то обошли это (поправьте, если кто знает), но обычно, это одноядерная функция, соответственно на больших массивах, с агрегацией по многим полям, каждая новая агрегация замедляет отработку.
Ну так и стоит задача обработать миллионы записей :(. Без него тогда приложения будет долго работать, а так хоть какое-то сокращение объема.
Мне кажется, что и сейчас так же работает.
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Galina E
Ну так и стоит задача обработать миллионы записей :(. Без него тогда приложения будет долго работать, а так хоть какое-то сокращение объема.
Мне кажется, что и сейчас так же работает.
Все агрегированные таблицы лучше делать в виде инкрементально обновляемых QVD в итоге. Первый раз ждешь 3 часа пока все записи сагрегируются. Дальше агрегацию считаешь только по X последним месяцам, остальное догружаешь из QVD
источник

SG

Sergey Gromov in Qlik BI chat
А если изменения задним числом?!?
источник

MS

Maxim Senin in Qlik BI chat
...ну либо бухгалтерию расстреливать, либо одно из двух

Не править же код!

Либо переезжать на ClickHouse и иже с ним в плане расчетов (смотря, правда, каких).
источник

IB

Igor Burobin in Qlik BI chat
Sergey Gromov
А если изменения задним числом?!?
Перегружать эти месяцы!
источник

ИС

Игорь Степанов... in Qlik BI chat
Sergey Gromov
А если изменения задним числом?!?
Обычно просят сисадминов в базу прикручивать триггеры на c(r)uid, scd.
источник

ИС

Игорь Степанов... in Qlik BI chat
Триггер должен взлетать не на открытый период, а на закрытый. Так ничего не 'пухнет' обычно.
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Sergey Gromov
А если изменения задним числом?!?
Так написано X последних месяцев) Опять же, нет проблем впринципе собирать скрипт который будет смотреть в какие периоды изменены данные и презаписывать именно их
источник
2020 December 27

СС

Станислав Строгий... in Qlik BI chat
Добавьте в скрипте Sense эти строки
SET DISABLE_AUTO_CHART=1;
SET DISABLE_INSIGHTS=1;
Выключите навязчивый "искусственный интеллект".
источник

D

Denis in Qlik BI chat
Zhenya Skrebanov
Коллеги, также не забывайте, что групп бай, отрабатывает на 1 ядре, даже если их много. Может быть в полседних версиях кликов и сенсов как-то обошли это (поправьте, если кто знает), но обычно, это одноядерная функция, соответственно на больших массивах, с агрегацией по многим полям, каждая новая агрегация замедляет отработку.
Так Терехов Андрей на вебинаре  предложил для ускорения процесса агрегирования пользоваться субд (exasol, например)
источник

GE

Galina E in Qlik BI chat
Станислав Строгий
Добавьте в скрипте Sense эти строки
SET DISABLE_AUTO_CHART=1;
SET DISABLE_INSIGHTS=1;
Выключите навязчивый "искусственный интеллект".
Как вы не хорошо с новомодную фичу охарактеризовали. :), но, спасибо,  воспользуюсь 😂
источник

СС

Станислав Строгий... in Qlik BI chat
Galina E
Как вы не хорошо с новомодную фичу охарактеризовали. :), но, спасибо,  воспользуюсь 😂
Я бы хотел найти список этих переменных, которыми можно управлять доступными функциями приложения. Сейчас приходится применять знания "молотка и напильника" чтобы напрямую вырезать объекты из HTML страницы, но может достаточно в скрипте объявить 1 или 0 скрытым переменным, чтобы скрыть новомодные функции типа Диспетчер данных, который мешает своим наличием в интерфейсе. Вообще было бы классно иметь пользовательскую панель, в которой Юзер сам определяет какие Hi-Tech функции ему нужны от Sense.
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Станислав Строгий
Добавьте в скрипте Sense эти строки
SET DISABLE_AUTO_CHART=1;
SET DISABLE_INSIGHTS=1;
Выключите навязчивый "искусственный интеллект".
еееее)
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Denis
Так Терехов Андрей на вебинаре  предложил для ускорения процесса агрегирования пользоваться субд (exasol, например)
кстати подтверждаю, у нас клик в скрипте агрегацию делал минут 10, которая на стороне запроса к БД меньше минуты выполняется
источник

СС

Станислав Строгий... in Qlik BI chat
Восстановим власть человека над машиной!
источник

DS

Daniil Semenov in Qlik BI chat
Galina E
Ну тут же очевидно, какие поля с Only работают. Когда они однозначно взаимосвязаны. CustomerID и Customer. Вот они и обернули одно из них в only. С таким же успехом могли бы Max  или min поставить, но похоже, что и правда only быстрее будет работать.
Емли в примере Месяц имеет формат 202005 , то Год можно в Only обернуть, все будет корректно, так как месяца уникальны в данном случае и уже содержат информацию Год.
У Max()/Min будет иной результат.
Надо понимать, что использовать эти функции для целей группировки можно только в тех случаях, когда значения поля для критериев уникальны.
источник

GE

Galina E in Qlik BI chat
Daniil Semenov
У Max()/Min будет иной результат.
Надо понимать, что использовать эти функции для целей группировки можно только в тех случаях, когда значения поля для критериев уникальны.
Так вроде же так и писала.
В вашем примере only же тоже не будет корректно работать?
источник

DS

Daniil Semenov in Qlik BI chat
Galina E
Так вроде же так и писала.
В вашем примере only же тоже не будет корректно работать?
Это из справки пример был :)
Да, как раз Вячеславу и писал, что надо использовать аккуратно, потому что это не то же самое, что сама операция группировки :)
источник