Нет, почему, в графане тоже есть таблички, пай чарты и тп.

Просто изначально видимо позиционировалась она как инструмент для мониторинга )

И поэтому закрепилась на этой позиции.

Спасибо за работу. Очень полезно. Если будет возможность, то буду помогать.

Спасибо! Любые интересные новости можно мне скидывать и у них есть шанс попасть в статью )

Ну и понятное дело можно подписываться в твиттере и слать туда

джоб постинги в другой группе, но я вижу что уже опубликовано там; я тут потру тогда

у нас delta на хадупе, не фонтан, но задачку решает. на mpp субд имхо сильно дороже было бы, учитывая что хадуп канторе ни копейки не стоил.

​Привет!

Радостная новость! Русская Школа Программирования совместно с компанией “МегаФон” и Фондом президентских грантов запускает бесплатные онлайн-курсы по Big Data и Data Science!🥳

Мы создали два курса:

1️⃣ 🟩 Для начинающих - то, что подойдет новичкам без подготовки.

Здесь вы познакомитесь со сферой Data Science - с нуля изучите основы науки о данных, освоите азы работы с ключевыми инструментами (SQL, Python), решите свою первую задачу машинного обучения и создадите настоящую реляционную базу данных. А еще узнаете, как управлять проектами и вести коммуникацию с проектной командой.

📌 Ссылка на курс: https://vk.cc/c6qJZZ

2️⃣ 🟪 Для продолжающих - то, что подойдет участникам с базовыми знаниями.

Здесь вы углубитесь в направление Data Science - научитесь работать с архитектурой MapReduce и экосистемой Apache Hadoop, разберетесь с устройством Apache Spark и Apache Parquet, освоите основы нейронных сетей и их архитектур. А еще узнаете, как проводить бизнес-аналитику с Power BI и какие soft skills нужны руководителю проектов.

📌 Ссылка на курс: https://vk.cc/c6qKqd

А что еще?

📍 Уроки подаются в понятном интерактивном формате - можно смотреть видео, читать полезные материалы, проходить тесты и решать задачки. Новые модули - раз в неделю. 

📍 Все преподаватели - практикующие эксперты Data Science. Они ежедневно работают с тем, чему обучают, и точно знают свое дело. 

📍 Никакой рутины и ограничений: нет фиксированных дедлайнов, количество попыток для решения заданий не ограничено, и в любой момент можно обратиться к куратору за помощью. 

📍 А еще после прохождения курсов каждый желающий получит сертификат.

Для регистрации достаточно оставить свои данные по ссылке:

🟩 Курс для начинающих: https://vk.cc/c6qJZZ

🟪 Курс для продолжающих: https://vk.cc/c6qKqd

Удачи!

А какую задачу решаете?
Сохранение историчности для входящих данных?

А на SMP СУБД?

да, по большому счету это DWH перетащенная с нескольких ораклов

после хадупа есть вертика для BI, но там лишь совсем базис нужный BI, истории вероятно там и нет

Т.е. строите таблицы с признаком периода актуальности для каждой записи (медл.мен.изменения?) или историчность достигается за счёт генерируемых делтой ивентов?

у каждой таблички две витрины, как в источнике и с историей. в истории просто дата и номер версии. в обе витрины дельты именно MERGE командой вмердживаются

а, есть еще отдельные витрины, уже для человеков где строятся таблички с SCD2 некоторых полей

т.е. со start_date end_date, это уже обычные паркеты, каждый день с нуля перестраиваются

Долго вчитывался, но вроде понял:
Во второй таблице -
Дата появления новой версии записи и порядковый номер версии.

А честный scd2 у вас строится отельным механизмом (видимо, на основе таблиц, от  экоторых идёт речь выше?)

Добрый вечер. Хочется попробовать project-driven подход к изучению spark. Выглядит ли полезным и несложным проект проект из таких модулей:

1) Кастомный экстрактор для какой-нибудь api/другого источника
2) Манипуляции спарком
3) Складирование
4) Визуализация Tableau
?

Я не совсем могу оценить сложность 2 и 4 пунктов и, может, есть более полезные штуки с этим всем