SO
А вот писать сам BigQuery в гугле, это заниматься бигдатой?
Size: a a a
2021 July 19
АЖ
Ну ты же занимаешься бигдатой, даже если в твоём пайплайне в этот момент нет данных?
SO
ну по такой логике, можно и ядро линукса притянуть в бигдату, не?
Линукс используется при создании контейнера, который будет тебе бигдатку пайпланить в кубернетесе)
Линукс используется при создании контейнера, который будет тебе бигдатку пайпланить в кубернетесе)
АЖ
Ну как, в сноуфлейк за тебя уже во многих аспектах шатания датки подумали
AZ
Ещё один капитан; отрасль ходила на mapreduce/pig/Dataframes не потому что это концепции лучше, а потому что платформы на которых все бежало были незрелые
AZ
чорт, я уже повторяюсь, пора закрыть этот чатик
AZ
Переслано от Anton Zadorozhniy
в отношении табличных данных - не часто, а практически всегда проще написать SQL, зря чтоли после всех забегов по MapReduce, Pig, DF и прочему весь рынок вернулся на SQL; DBT получили на последнем раунде 150 мегадолларов не потому что SQL это легаси, а потому что это будущее (как бы мне самому это не было неприятно)
D
на Руси может все как-то по другому, но имхо западнее забеги на MapReduce, Pig, DF были потому что традиционный DWH на SQL требовали чудовищного бюджета на лицензии
ME
ну выглядит так что просто hadoop был собран без native
ME
Что
hadoop checknative отдает?IU
А я это уже починил ))
ME
Хорошо:)
AZ
Тут пропущен шаг: компании выбирали opensource платформы чтобы сэкономить на лицензиях, но эти платформы были технически незрелыми, так что приходилось писать на чём-то не SQL
AT
В чатике дата инженеров - значит специалист по бигдате
K
Sql не оч в поддержке
K
И переисрользование кода там не оч
OA
Што?
OA
Хранимки и функции.
AE
хранимки же.
OA
У SQL одна беда. Смузихлебы хотят все на пыхтоне.