Size: a a a

2020 October 08

SC

Stanislav Chernov in Qlik BI chat
Евгений Стучалкин
Кратко в чем был вопрос. Есть CRM, и ежедневно данные в бд синхронизируются через api путем полной перезаписи. иногда CRM глючит, и отдает вместо 10000 сделок 50, например. Клик это успешно грузит, и все в панике.
данное поведение является косяком CRM, сложно отлавливаемым.

Мы хотим придумать механизм, который в таких случаях предотвратит загрузку в клик огрызка данных
А если сделать select в БД, сохранить в tmp.qvd, посчитать количество строк в прошлом qvd и в новом, и если есть расхождение на 5% - слать алярм?
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Stanislav Chernov
А если сделать select в БД, сохранить в tmp.qvd, посчитать количество строк в прошлом qvd и в новом, и если есть расхождение на 5% - слать алярм?
да, есть такая гипотеза)
источник

MD

Maxim Deviatov in Qlik BI chat
Евгений Стучалкин
Кратко в чем был вопрос. Есть CRM, и ежедневно данные в бд синхронизируются через api путем полной перезаписи. иногда CRM глючит, и отдает вместо 10000 сделок 50, например. Клик это успешно грузит, и все в панике.
данное поведение является косяком CRM, сложно отлавливаемым.

Мы хотим придумать механизм, который в таких случаях предотвратит загрузку в клик огрызка данных
А если вести чтото типа протокола загрузки таблиц? Сохранять при перезагрузке модели количество записей в каждой таблице. И если будут большие расхождения, то можно сразу же перезапустить загрузку на данную конкретную исходную таблицу CRM...
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Maxim Deviatov
А если вести чтото типа протокола загрузки таблиц? Сохранять при перезагрузке модели количество записей в каждой таблице. И если будут большие расхождения, то можно сразу же перезапустить загрузку на данную конкретную исходную таблицу CRM...
рассматриваем такой путь
источник

IB

Igor Burobin in Qlik BI chat
Это единственно возможный путь чтобы все не грузить
источник

IB

Igor Burobin in Qlik BI chat
нужно фиксировать ошибки и перегружать, иначе никак(
источник

SC

Stanislav Chernov in Qlik BI chat
Евгений Стучалкин
да, есть такая гипотеза)
а еще можно рассмотреть вариант с Qvc_Incremental_Reload от Роба ...
https://github.com/RobWunderlich/Qlikview-Components/blob/master/QVC_Source/Qvc_Incremental_Reload.qvs
источник

V

Vladimir in Qlik BI chat
Евгений Стучалкин
рассматриваем такой путь
а у вас между облачной CRM и кликом никакой прослойки нет, в виде своей БД?
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Vladimir
а у вас между облачной CRM и кликом никакой прослойки нет, в виде своей БД?
есть, данные из crm идут в бд, из бд в qlik
источник

V

Vladimir in Qlik BI chat
может, возможно как-то CDC настроить для этой базы данных?
источник

V

Vladimir in Qlik BI chat
или там это неприменимо?
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Vladimir
может, возможно как-то CDC настроить для этой базы данных?
а?
источник

V

Vladimir in Qlik BI chat
нет )
источник

V

Vladimir in Qlik BI chat
источник

V

Vladimir in Qlik BI chat
я никогда это не применял, но часто слышал о такой схеме в качестве решения для отслеживания изменений в БД, в том числе и для удаляемых объектов
источник

Y

Yulia in Qlik BI chat
Коллеги, привет! Подскажите как в закладках поменять выражение множества? Это вообще можно? Прям вот написать самой туда? При редактировании это поле неактивно.. у меня есть в данных поле числовое дискретное. Оно выступает в кач фильтра. Фильтр, выбрала 0-> альтернативные варианты, сохранила закладку, но в выражении все-равно набор значений. При последующей загрузке при добавлении чисел они не входят в перечень, поэтому хочу поставить > 0 и не знаю как.. хееелпппп🙏
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Yulia
Коллеги, привет! Подскажите как в закладках поменять выражение множества? Это вообще можно? Прям вот написать самой туда? При редактировании это поле неактивно.. у меня есть в данных поле числовое дискретное. Оно выступает в кач фильтра. Фильтр, выбрала 0-> альтернативные варианты, сохранила закладку, но в выражении все-равно набор значений. При последующей загрузке при добавлении чисел они не входят в перечень, поэтому хочу поставить > 0 и не знаю как.. хееелпппп🙏
а у вас какая версия клика?
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
в актуальных версиях при сохранении закладки сохраняется именно условие поиска, т.е. ">=0"
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
А вот раньше сохранялся именно перечень значений, попавших под условие в момент выборки
источник

Y

Yulia in Qlik BI chat
источник