Так это вообще другое! KNIME это ETL и сервер

В sql

Про python там ещё не думал и не видел

Я его больше понял как удобный процесс для ML
ETL там как бы не увидел

Надо же.. очень интересно. Надо изучить вопрос.

Всем привет, такой вопрос, что лучше использовать для datalake чтобы было удобно и разработчикам и аналитикам?

а так бывает?

Продукт - веб страница, на которой есть html5 игры
нужно что б часть данных собиралась для аналитики и уходила в dwh (bigquery) и часть данных обратно транслировалась для сайта
я думал оставить просто mysql->google cloud storage->bigquery
мускл на физ сервере, а остальное в облаке, как мера предосторожности

если это обычная аналитика без претензий на реалтайм, то вроде все стандартно, где то есть oltp базы, где то хранилище, куда сгружается инкремент за единицу времени

А если стримнг будет через гугловские сервисы pub/sub->dataflow

Всем привет!
Хотим сменить одну из баз с mongoDB на PSQL
MongoDB служит как хранилище данных собираемых из различных источников

Чтобы примерно оценить (очень примерно) объем который понадобится для PSQL как лучше поступить?

Насколько адекватный это подход:

Допустим mongo весит 1ТБ
Я примерно посмотрел по данным которые мы собираем в mongoDB из сторонних PSQL и понял что в исходных БД таблицы занимают меньше, около 65% от размера коллекций в mongoDB
Поэтому  делаю вывод что нам понадобится около 650ГБ для хранения данных, которые в монге занимали 1ТБ

Накиньте еще под трансформации и доп индексы

https://www.litres.ru/dzh-sadaladzh-pramod/refaktoring-baz-dannyh-evolucionnoe-proektir-48613782/
кто нить читал ?

Всем привет! Подскажите, пожалуйста, у кого спросить - надо данные из Power Apps (есть только IP и учетка Azure) грузануть либо в Azure либо в MS SQL сервер лучше сразу. Как и с помощью чего это сделать? Data Bricks?

О, а хотел ещё уточнить, есть ли смысл делать промежуточный этап, например накопление в Redis,
Если делаю сбор сырых данных в MySQL?
Бд предназначена только для экспорта в Google Storage.

не нашел в правилах запрета на анонс :) но если что извините.

Приглашаем разработчиков ETL, архитекторов и всех заинтересованных в работе с NiFi на наш первый NiFi meetup ⭐️

Вот что мы планируем обсудить:

— Автоматизация доставки flow в Apache NiFi: Дмитрий Быстриков из «Софт Инжиниринг» поделится своим опытом решения проблем с автоматизацией выкатки flow на сервера.

— Организация потока: Бронислав Житников из Тинькофф расскажет об организации компонентов в потоке NiFi и о том как правильное проектирование потока упрощает анализ ошибок.

Регистрируйтесь на митап — ссылку на трансляцию пришлем на почту: https://meetup.tinkoff.ru/upcoming/tinkoff-nifi-meetup-1/

Будем немного рассказывать про NiFi. Доклады скорее для тех кто уже знаком с инструментом. Но думаю найдутся те кому будет интересно.

Митап первый из двух будет еще второй

Анонсы событий по данным ок

Просто интересно кто-то использует на практике knowledge graph? например что-то типа https://grakn.ai/?

конечно используют