Size: a a a

2021 July 19

SO

Simon Osipov in Data Engineers
А вот писать сам BigQuery в гугле, это заниматься бигдатой?
источник

АЖ

Андрей Жуков... in Data Engineers
Ну ты же занимаешься бигдатой, даже если в твоём пайплайне в этот момент нет данных?
источник

SO

Simon Osipov in Data Engineers
ну по такой логике, можно и ядро линукса притянуть в бигдату, не?
Линукс используется при создании контейнера, который будет тебе бигдатку пайпланить в кубернетесе)
источник

АЖ

Андрей Жуков... in Data Engineers
Ну как, в сноуфлейк за тебя уже во многих аспектах шатания датки подумали
источник

AZ

Anton Zadorozhniy in Data Engineers
Ещё один капитан; отрасль ходила на mapreduce/pig/Dataframes не потому что это концепции лучше, а потому что платформы на которых все бежало были незрелые
источник

AZ

Anton Zadorozhniy in Data Engineers
чорт, я уже повторяюсь, пора закрыть этот чатик
источник

AZ

Anton Zadorozhniy in Data Engineers
Переслано от Anton Zadorozhniy
в отношении табличных данных - не часто, а практически всегда проще написать SQL, зря чтоли после всех забегов по MapReduce, Pig, DF и прочему весь рынок вернулся на SQL; DBT получили на последнем раунде 150 мегадолларов не потому что SQL это легаси, а потому что это будущее (как бы мне самому это не было неприятно)
источник

D

Dmitry in Data Engineers
на Руси может все как-то по другому, но имхо западнее забеги на MapReduce, Pig, DF были потому что традиционный DWH на SQL требовали чудовищного бюджета на лицензии
источник

ME

Mikhail Epikhin in Data Engineers
ну выглядит так что просто hadoop был собран без native
источник

ME

Mikhail Epikhin in Data Engineers
Что hadoop checknative отдает?
источник

IU

Igor Udovichenko in Data Engineers
А я это уже починил ))
источник

ME

Mikhail Epikhin in Data Engineers
Хорошо:)
источник

AZ

Anton Zadorozhniy in Data Engineers
Тут пропущен шаг: компании выбирали opensource платформы чтобы сэкономить на лицензиях, но эти платформы были технически незрелыми, так что приходилось писать на чём-то не SQL
источник

AT

Al T in Data Engineers
В чатике дата инженеров - значит специалист по бигдате
источник

K

KrivdaTheTriewe in Data Engineers
Sql не оч в поддержке
источник

K

KrivdaTheTriewe in Data Engineers
И переисрользование кода там не оч
источник

OA

Oleksandr Averchenko in Data Engineers
Што?
источник

OA

Oleksandr Averchenko in Data Engineers
Хранимки и функции.
источник

AE

Alexey Evdokimov in Data Engineers
хранимки же.
источник

OA

Oleksandr Averchenko in Data Engineers
У SQL одна беда. Смузихлебы хотят все на пыхтоне.
источник