Size: a a a

2021 October 23

ЕС

Евгений Стучалкин... in Qlik BI chat
Разница в том, что появляется техническая возможность хранить массив данных в QVD, даже если нет возможности прогрузить все исходные данные из источника разом, чтобы сохранить в QVD
источник

DS

Daniil Semenov in Qlik BI chat
Реализовывал такой подход для транзакций платежных систем внутри игрового департамента, там в день могло до 2х миллионов строк транзакций прилетать.
В итоге первичная выгрузка складировала чистые данные по структуре папок год—>месяц->день.
И она же считала агрегаты по такой же структуре.

Инкремент докладывал транзакции в чистые данные и так же инкрементально обновлялись только те дни/месяцы/года в которые прилетало изменение.

И потом уже для разных целей брались агрегаты нужного уровня или чистые данные для точечного анализа
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
источник

DS

Daniil Semenov in Qlik BI chat
Вот тут описание. И цифры на выходе по обновлению
источник

DS

Daniil Semenov in Qlik BI chat
источник

DS

Daniil Semenov in Qlik BI chat
Источником был сервлет, который возвращал из кубов csv
источник

IB

Igor Burobin in Qlik BI chat
А зачем его хранить в qvd? Только потому что это быстрее запроса в базу ?
источник

SG

Sergey Gromov in Qlik BI chat
Главное - правильное слово
источник

SG

Sergey Gromov in Qlik BI chat
И Евгений его использовал
источник

SG

Sergey Gromov in Qlik BI chat
Шардирование!!! Это не просто какой нить лайв
источник

SG

Sergey Gromov in Qlik BI chat
И не вот это вот все
источник

SG

Sergey Gromov in Qlik BI chat
Вообщем шардирование - убедило.
источник

IB

Igor Burobin in Qlik BI chat
Я просто сторонник того что клик не очень для бигдаты. Бигдата это mpp прежде всего и тру масштабирование
источник

DS

Daniil Semenov in Qlik BI chat
От источника зависит)
Сервлет опрашивали раз в час и он не всегда мог вернуть полный объём новых данных, приходилось  сокращать интервал выгружаемых данных порой до 10секунд и делать последовательно выгрузку внутри часа.
Каждый раз опрашивать такой источник целиком не представляется возможным
источник

IB

Igor Burobin in Qlik BI chat
Хороший вариант
источник

IB

Igor Burobin in Qlik BI chat
Есть еще вариант когда запросы тупо дольшк чем qvd
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
может быть быстрее запроса в БД. БД может хуже отрабатывать параллельные запросы множественных пользователей
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Ну и не забываем что модель данных может не ограничиваться только тем что есть в БД)
источник

IB

Igor Burobin in Qlik BI chat
А кстати это интересный вопрос. Есть приложение, в нем динамическая вьюха. Один пользователь загрузил например 10Гб из QVD файлов, другой те же файлы плюс еще 10Гб. Какова утилизация памяти>
источник

IB

Igor Burobin in Qlik BI chat
30Гб или 10Гб? То есть исопользуют ли динамические вьюхи общее пространство в памяти (верится слабо) или нет
источник