RA
Благодарю! Попробуем
Size: a a a
2021 November 24
GE
В целом да, ход мыслей правильный. Но тут надо бы еще в целом смотреть на процесс загрузки и трансформации данных. Возможно, что надо разбить на шаги, сделать инкрементальную обработку данных. Если данных много, то подумать, а не нужно ли тут решение строить в архитектуре "on-demand".....
VN
Иногда и не просто звёзды а прямой таблицы… но у вас вроде как не так много данных… тут как то выкладывали вполне адекватные рапу мануалов по аудиту и оптимизации производительности
ДК
Таки не ясно, а что вас не устраивает? Скорость загрузки данных из БД, формирование модели или работы самого визуала?
IK
скорость загрузки из БД огонь автоинкремент спасает, скорость формирования модели с учетом индексирования низкая(переписали скрипт, объединили часть qvd для модели в один, стало чуть быстрее ближе к форме звезда стала модель, но все равно индексация долго идет), и визуализация подтормаживает, пока не нашли что не так.
L
про индексирование вопрос - нужно ли оно пользователям? можно отключить, на больших объёмах время сократится значительно.
IK
не пострадает ли скорость работы визуализации? у нас модель данных не вся ложится условно в топологию звезда есть еще связи с двумя тяжелыми qvd файлами(части показателей).
L
в целом это скажется только если пользователи используют глобальный поиск , плюс можно оставить индексацию только по основным полям, исключая ключи и т д
L
от ресурсов сервера также во многом зависит, у нас есть приложения 600+ млн строк, работает достаточно быстро
L
но модель должна быть оптимизирована, звезда
IK
хм, спасибо, попробую найти инфу по частичному отключению индексов, пока не сталкивался. Ресурсы есть по процу нагрузка в половину, по озу 100гб+ свободно, по диску тоже. попробую привести к форме звезда. у нас 39млн+ строк в части модели и столько же во второй части приблизительно.
L
формулы тоже могут быть не оптимальными в визуализации, If к примеру, Aggr - всё это тормозит
IK
if есть и взаимодействие с календарем глючит, пока не поняли что влияет
L
сам if он и глючит) желательно такие формулы не использовать, если они необходимы - отключать расчёт визуализации без предварительной выборке по фильтрам
СС
Если пришлёёте скрин аналитической модели с формулой, то... Будет о чём подумать перед сном.
IK
сейчас уже не смогу законнектиться к работе увы( только завтра утром
СС
А у меня потенциальный доступ 24 часа. :(
И сейчас я работаю там...
Хотя в этом и плюсы. Больше смысла, чем крипов мочить.
И сейчас я работаю там...
Хотя в этом и плюсы. Больше смысла, чем крипов мочить.
IK
Я не возле компа просто, доступ тоже 24 часа к работе