Ну так никто же специально не обучался)

Максим Алексеев
вопрос к концу доклада - Spark сейчас это, как я понимаю, только движок для Compute. а как в 21/22 годах выглядит дизайн полного data warehouse с использованием спарка? из предположения что проектируем с нуля: нужен ли отдельный шедулер джобов (Airflow etc); какой backing storage нынче модно брать для большого масштаба? HDFS, колоночные базы, что-то еще; чем все это мониторить; любые другие важные компоненты DWH. #question

» Мы начинаем переименовывать колоночки и делать всё в одном датафрейме
Дааа, и это то, почему писать и читать SQL приятнее - однажды начав изменять датафрейм, уже невозможно остановиться. Можно бесконечно добавлять точки и менять его все 8 рабочих часов с перерывом на обед, заварить себе кофе, посмотреть сериал, поспать, а наутро продолжать ставить точки. Через 3 дня: "Скажите, что происходит на 9487 строчке изменения датафрейма?" - "Что? Какой датафрейм? Время увольняться из компании"

#question
Какие у Spark(+HDFS+Hadoop) преимущества перед MPP DB (Teradata, GreenPlum, Oracle RAC) и для каких случаев он предпочтительнее?

Николай Морозов
Павел, пробовали использовать apache beam? Какие ощущения после Спарка?)

Big data tools с другими инструментами JB как-то интегрируется?

А что за подчёркнутые красным троеточия?

Михаил Смажевский
а) Отличаются ли 3 api по производительности? б) Как эти вычисления можно распределять по машинам кластере?

Максим Алексеев
thanx

Александр Шипулин
Спасибо!

Кирилл Константинов
👏🏽

Спасибо!

А расскажите, где дискуссионка будет?

И - спасибо большое за доклад!

@JUGruSupport  как попасть в дискуссию?

По гауссу слева и справа - отклонение, брак и прочее )

Они хотели сделать прогрессию обучения, но что-то пошло не так

При чём тут брак? По Гауссу это отклонение от нормы, с браком никак не связано. Не любое отклонение от нормы - плохо, именно про это мем)