N
Смысл релейшенов грузить отдельно измерения и отдельно факты.
Size: a a a
2022 February 11
JM
я думала, что смысл релейшенов в соединении данных с разной аггрегацией
N
Да, но разве одно из второго не следует?
DU
1. Как часто нужно обновлять экстракты? Если пару раз в неделю и чаще, рекомендую поробовать с live connection. Заметна ли разница во времени?
2. Поговрить с теми, кто BigQuery отвечает у вас. Объяснить: проблема - долгая загрузка данных. Там много чего можено сделать от схемы данных, до partition and clustering.
2. Поговрить с теми, кто BigQuery отвечает у вас. Объяснить: проблема - долгая загрузка данных. Там много чего можено сделать от схемы данных, до partition and clustering.
JM
Господа, а подскажите, пожалуйста, кто-то делал оркестрацию через AirFlow? Практический вопрос - триггерю обновление воркбуков, но сейчас появилась задача в одной книге обновить только два датасорса из трех (третий не трогать до ручного обновления). Кто-то сталкивался с такой задачей?
JM
за бк отвечаю я) обновлять надо не часто на десктопе, просто когда это надо делать, я не хотела бы ждать по 45 минут, пока обновится. Ище решение, где можно не ждать. Live connection не подходит, так как тоже долго орабатывает. Схема данных меня устраивает, там нужная мне аггрегация. Про partition and clustering - это партиционирование на самом бк? или в табло? У меня сделано на бк по дате.
DU
Обычно изменить файл. в папке /dags где описан конкретный workflow
DU
Если все устраивает, то интеренет соедиенени может слабое или компьютер слабый
JM
можно чуть подробнее? Я сейчас триггерю на обновление workbook id, а мне теперь надо только его источники (два из трех), чтобы не выносить в отдельный воркбук.
DU
я не понмиаю термиологию такую :(
АП
вам надо источники выносить на сервер в качестве datasource и уже их запускать
JM
а как же мне вам объяснить ))))
JM
Артем, здравствуйте!
У меня табло он-лайн, и я делаю обновление воркбука по tableau_refresh_workbook из AirFlow. В этом воркбуке у меня три datasource, и пусть бы они так и обновлялись, но теперь один из них мне надо отключить от обновления. Я не совсем поняла, что вы имеете ввиду, так как сейчас у меня просто обновляется вся книга со всеми источниками сразу.
У меня табло он-лайн, и я делаю обновление воркбука по tableau_refresh_workbook из AirFlow. В этом воркбуке у меня три datasource, и пусть бы они так и обновлялись, но теперь один из них мне надо отключить от обновления. Я не совсем поняла, что вы имеете ввиду, так как сейчас у меня просто обновляется вся книга со всеми источниками сразу.
АП
Я понимаю. В рамках книги нельзя управлять отдельными источниками. Нужно их опубликовать на сервер как datasource и запускать когда нужно. Правда не знаю, есть ли в airflow для этого библиотека или нужно ручками логику писать.
JM
а наверное вы имеете ввиду запускать по расписанию?
АП
нет, я имею в виду запускать через rest api
JM
они у меня опубликованы, я книгу публикую сразу с источником
EL
AB
Пока не выкатил, ищет тестеров
ЧН
Всем привет! Не подскажете, как под графиком убрать возможность изменения гранулярности дат? У меня в columns стоит квартал, который можно раскрыть далее.