Size: a a a

2021 July 05

МГ

Михаил Галушкин... in Qlik BI chat
А у кого есть опыт такой большой загрузки вообще? 2 млрд строк в итоге нужно подгрузить. Телеком.
источник

IK

Igor Kozlov in Qlik BI chat
Если бы ломал файервол или антивирус тогда ломал бы и маленькие таблицы, но с маленькими все ок
источник

AK

Anton Klyuge, Servie... in Qlik BI chat
А если частями грузить?
источник

VN

V N in Qlik BI chat
источник

МГ

Михаил Галушкин... in Qlik BI chat
Не вариант, слишком много частей
источник

VN

V N in Qlik BI chat
Вообще обычно тогда экстракция частями (иногда в несколько потоков) потом загрузка из qvd в модель
источник

AK

Anton Klyuge, Servie... in Qlik BI chat
Ну если там есть по годам разбивка в данных, в цикл загнать и пусть выгружается)
источник

МГ

Михаил Галушкин... in Qlik BI chat
Можно подумать в каком-то виде, поизвращаться помесячно. Там год.
источник

VN

V N in Qlik BI chat
А вообще 2 ярда это потолок теоретический ( насколько я понимаю)…
источник

МГ

Михаил Галушкин... in Qlik BI chat
Нас вендор рекомендовал как раз грузить целиком на первом слое, без предобработки на стороне СУБД
источник

VN

V N in Qlik BI chat
Вендор это кликтех или кто-то из внедренцев? Скорее всего имели ввиду что запрос должен быть максимально простым без функций доп обработки данных, это не про отборы.
источник

IK

Igor Kozlov in Qlik BI chat
NUM_ROWS  260927578 сейчас грузим маленькую табличку вот с таким кол-вом строк
NUM_ROWS  1387032936 далее нужно вот такую грузить 133Гб+
Вот при прогрузке целиком падаем на idle_time
источник

AK

Anton Klyuge, Servie... in Qlik BI chat
Ну я бы не согласился с такими рекомендациями)
источник

МГ

Михаил Галушкин... in Qlik BI chat
Продажники
источник

VN

V N in Qlik BI chat
Клика или другие?
источник

МГ

Михаил Галушкин... in Qlik BI chat
Продажники Клика, официалы
источник

VN

V N in Qlik BI chat
Ок
источник

VN

V N in Qlik BI chat
Сергей , подскажите пожалуйста, что могли иметь ввиду ваши коллеги?
источник

МГ

Михаил Галушкин... in Qlik BI chat
Нам приводили в пример опыт Газпромнефти и объемы по x5. В итоге сошлись на трёхслойной загрузке, на первом слое экстракция в чистом виде исходных данных
источник

VN

V N in Qlik BI chat
Ну хз… Я бы на таких объемах все таки хотяб помесячно работал иначе оно и на диск сохраняться будет хз как…
источник