Привет ! Подскажите пожалуйста, как оптимальнее будет работать с Array структурами данных из BigQiery в Клике ? Разворачивать построчно через Unnest () или есть ещё какие-то варианты ?

Тут есть об этом: https://community.qlik.com/t5/Qlik-Design-Blog/Preceding-Load/ba-p/1469534
Если в деталях, то:
- зависит от количества Preceiding Load - каждый этап имеет свою плату (для 1-го всегда быстрее), но эта плата за читаемость кода
- нельзя использовать * в From (не будет работать автоконкатенация)
- ... может вспомню что-то еще

Всё просто. Резиденная загрузка - это всегда создание отдельного экземпляра таблицы. Использование же Preceding Load - это по сути форма записи, позволяющая в более удобной форме описать правила создания полей (упростить написание функций, о чём писал @stuchalkin.
Поэтому все Preceding Load- выполняется как единая операция и физически запись строки данных в таблицу в оперативную память выполняется по результатам выполнения  самого последнего Load

Поэтому и RowNo() работает корректно только если описана в самом верхнем Load. И происходит это потому, что, как и написано в документации,  RowNo() возвращает номер строки, которая является результатом записи её в таблицу в оперативную память

Использование же RowNo() в любых промежуточных Preceding Load будет приводить к возвращению значения 0 (ноль), т.к. при выполнении промежуточных Preceding Load не происходит записи формируемой строки  в итоговую таблицу

Поэтому и ряд других функций может работать при резидентной загрузке не так, как при использовании Preceding Load

Что же касается скорости чтения из QVD (optimized load) в сравнении с резидентной загрузкой, то на современных дисках (особенно SSD), эта операция может выполняться даже быстрее,  чем при резидентной загрузке. Различие связано с тем, как физическое формируется таблица в оперативной памяти при чтении из QVD и при резидентной загрузке.
Резидентная загрузка всегда выполняется построчно. Оптимизированная же загрузка из QVD выполняется закидыванием данных в оперативную память в виде потока Raw Data, т.е. без построчной обработки

Чтение же данных из QVD в неоптимизированном режиме - сравнимо со скоростью выполнения обычной резидентной загрузки

Сергей да, но скорее это не мне надо было отвечать :)

Вопрос был в том что быстрее:
1. From qvd + Resident
2. From qvd > Preceiding

Ну и последнее. Если памяти на сервере недостаточно, то чтение с обработкой из QVD позволит расходовать память на хранение только одного экземпляра таблицы. При резидентной обработке придется держать в памяти два экземпляра таблицы: исходную и формируемую.

Не попал? 😁

Ну я думаю, что кто задавал вопрос разберется :)

Так нельзя сравнивать. Preceding - это лишь форма записи.

2 пункт всегда будет быстрее, поскольку формирует одну таблицу. А в первом - формируется две

Почему это всего лишь 2 способа получения одного и того же результата... Вопрос что быстрее будет работать...

Я однозначно могу сказать что load ... store into QVD, load * from QVD - работает быстро и быстрее резидента и естественно не жрет память. То есть принудительно все темп таблицы сохраняю в QVD, и дропаю их

не одного и того же. тот кто использует резидент там где можно юзать пресидинг, совершает преступление)))

а я вот чет не подтвердил пока))

И когда они нужны вызываю из QVD , но не резидентом, в случае если много резидентных загрузок и больших объемов