до 30-го апреля

✋

✋😊

Привет!

Почему нет? Есть rest api, норм работает.

Ну штатно NiFi Процессоры не обладают возможностью запуска с внешнего тригера, да есть возможность через рест апи выполнить Постановку на внутренний планировщик, но это как бы намекает что есть внутренний планировщик зачем костылить еще внешний. NiFi сам по себе хорош и не требует сверху наворачивания AirFlow Про условное исполнение веток, кстати вполне можно все это реализовать на штатном найфай через wait notify например, или через атрибутный состав FlowFile.  
А если не секрет где используют вместе? У Вилларда или Бенде не разу про совместное использование не читал и от них самих тоже не слышал.
Ну и для меня AirFlow выглядет больше как вариант батч планировщика. А NiFi это скорее про стриминг данных или микробатчи

#оффтопик, но не совсем. Несколько дней назад Вова Ломов из теплицы социальных технологий сделал короткое видео про Google Classroom https://youtu.be/49mB73vJtf8 Я уже пару лет пользуюсь этой штукой и всё жду, когда же она испортится. Когда же в неё напихают кучу ненужного функционала. Так, чтоб использовать инструмент стало  бы решительно невозможно. Но классрум остаётся простым и рабочим. Может гугл знает какой-то секрет сохранения свежести программных продуктов, а?

Работа с BigData в облаках. Обработка и хранение данных с примерами из
Microsoft Azure

Автор: Александр Сенько
Год издания: 2019

#big_data #русский

Спасибо, о такой книге не знал

Сейчас есть 2 варианта развития платформы данных - делать большое озеро ака суперхранилище, которое становится мастер системой для всех данных приложения, не создающихся в этом приложении, и второй вариант - это просто хранилище для аналитики, а остальные системы обмениваются между собой с помощью других средств. Какой вариант предпочитаете?

А можно подробней о вариантах реализации каждого пути?

В контексте будет ли интегрировано новое ПО, если да, то какое

Для аналитики вижу что надо будет логи/метрики/графану или ELK стек вообще добавлять.

Интересно что думают другие, я чуть позже напишу

Движение в сторону аналитики:
Логи/мониторинг - без этого никак.
итого выходим на 1. ELK/EFK что интерпрайзненько но по любому нужно для долгосрочного хранения.
2. Либо на более легковесный стек (Prometheus|VM|Grafana|loki|CH)

Учитывая платформу текущую, я бы выбрал второй вариант.

Ошибся, первый вариант.
Более ентрепрайзно, можно продавать услуги, не так широко что бы лесть в облака (k8s)

На ELK сложно строить большие и сложные выборки, так что 1) строить на елке не очень
Логи можно тоже в CH, но идея путать логи и данные для хранения данных мне представляется сомнительной, слишком много "шума".