Size: a a a

2021 May 30

e

er@essbase.ru in Data Engineers
Telegram
Denis Smirnov in Чат без сингулярности (18+)
в теории лучше, но нужно смотреть. в гринпламе единый координатор (роутер запросов + цельность кластера + глобальные транзакции), отправляющий куски плана на узлы с данными. а в поляре (судя по картинкам), цельность кластера и глобальные транзакции - это отдельные роли узлов, а каждый узел с данными может выступать как роутер. так же в гринпалме за отказоустойчивой парой (primary - mirror) узлов данных присматривает координатор. тут же вообще отказоустойчивая тройка на консенсусе (третья нога для хранения журнала предзаписи). ну и шардирование сделано иначе - в гринпламе это консистентное jump хеширование от гугла, а тут - похоже, оно на виртуальных бакетах.
все что выше, на самом деле, косметика для аналитического профиля. ключевые вопросы - что с распределенным планировщиков и перемещением данных между узлами при распределенных соединениях. нужно смотреть (и воровать идеи в гринплам, конечно же)
источник

MB

Muslim Beibytuly in Data Engineers
хай, есть ли здесь смысл задавать вопросы по airflow или есть другое более узкое сообщество?
источник

PA

Panchenko Andrey in Data Engineers
Есть
источник

PA

Panchenko Andrey in Data Engineers
источник

MB

Muslim Beibytuly in Data Engineers
thx:)
источник
2021 May 31

С

Сергей in Data Engineers
Чет мне сейчас вспомнилась игра "угадай мелодию":

- я положу эту базу данных с 5 запросов
- а я положу эту БД с 3 запросов
- а я уложу эту БД с 2 запросов!!!
- укладывай!
источник

ПФ

Паша Финкельштейн... in Data Engineers
Чатик, вопрос: кому тут могла бы пригодиться функциональность "сгенерировать DDL по CSV"?
источник

DN

Dmitriy Novikov in Data Engineers
вполне
источник

АБ

Артемий Богданов... in Data Engineers
Мне
источник

KO

Konstantin Orzhekhov... in Data Engineers
а как тип данных определяется?
источник

DN

Dmitriy Novikov in Data Engineers
ddl по json вот ваще огонь
источник

ПФ

Паша Финкельштейн... in Data Engineers
допустим по первой тысяче строк
источник

ПФ

Паша Финкельштейн... in Data Engineers
Если сделаем по CSV — то сможем и по JSON
источник

DN

Dmitriy Novikov in Data Engineers
classic
источник

DN

Dmitriy Novikov in Data Engineers
ну я просто уточнил )
источник

K

KrivdaTheTriewe in Data Engineers
Не понимаю
источник

ПФ

Паша Финкельштейн... in Data Engineers
Чего именно?
источник

K

KrivdaTheTriewe in Data Engineers
В Спарк всроен вывод структ тайпа по жсону
источник

ПФ

Паша Финкельштейн... in Data Engineers
А если ты не в спарке О_О
источник

K

KrivdaTheTriewe in Data Engineers
А где ?
источник