МС
Хм. Хороший вопрос :) надо вспомнить.
Size: a a a
2017 December 11
МС
Пробовали точно а вот остались ли они в бою не уверен.
МС
Просто именно моя роль в том что касается Airflow это администрирование, поиск багов, депорт и и.д.
МС
Так что не помню точно :)
ДС
Как будет время, посмотрю пристальнее на них
2017 December 18
МС
Нас где-то пропиарить? :)
YE
привет!
YE
Вчера был вопрос про airflow в группе про КликХауз
MF
Ага. @yuryemelyanov на @clickhouse_ru. :)
YE
:)
П
Всем привет. Создаю некий аналитический инструмент. Нужен совет. Необходимо тянуть данные из Апи Яндекса и Гугла. И это все для нескольких аккаунтов/клиентов. Как лучше организовать даг. Я сейчас представляю это так. По дагу на яндекс и гугл. И внутри дага будет генерация исходя из текущих активных аккаунтов, как в этой статье описано...
МС
Может быть по таску?
ДС
А какая приблизительная оценка количества аккаунтов?
П
Может быть по таску?
это как? опыт у меня не большой, еще не все термины знаю)
П
А какая приблизительная оценка количества аккаунтов?
сейчас своих 10 аккаунтов для гугл и яндекса т.е. 20 вместе ну и дальше это может кратно увеличиться
П
Может быть по таску?
если вы имеете ввиду задачи генерить для каждого, то я думаювсе таки это диначиски должн быть. Аккаунты добавляются, удаляются и задачи придется каждый раз менять
ДС
Мне кажется, идея сделать два дага, параметризованных внутри с помощью значений из переменных, хорошая.
П
Мне кажется, идея сделать два дага, параметризованных внутри с помощью значений из переменных, хорошая.
спасибо, тогда так и буду делать.
Еще вопрос есть. Добавился например аккаунт, для него нужно исторические данные за год забрать, а дальше каждый день за предыдущий забирать. Как это закодить, можете пример дать? не сообразил пока
Еще вопрос есть. Добавился например аккаунт, для него нужно исторические данные за год забрать, а дальше каждый день за предыдущий забирать. Как это закодить, можете пример дать? не сообразил пока
П
спасибо, тогда так и буду делать.
Еще вопрос есть. Добавился например аккаунт, для него нужно исторические данные за год забрать, а дальше каждый день за предыдущий забирать. Как это закодить, можете пример дать? не сообразил пока
Еще вопрос есть. Добавился например аккаунт, для него нужно исторические данные за год забрать, а дальше каждый день за предыдущий забирать. Как это закодить, можете пример дать? не сообразил пока
а т.к. данных много, нужно по месяцу скачать до вчерашнего дня