Size: a a a

2021 June 14

ND

Nurdinov Denis in Data Engineers
Спасибо🙏. То есть предположительно нужно увеличить память для джобы Спарк?
источник

АР

Андрей Романов... in Data Engineers
да, либо добавить соления в те аггрегации, которые у вас есть в джобе - для равномерного распределения данных по спарк-экзекьюторам
источник

ND

Nurdinov Denis in Data Engineers
Я понял, спасибо большое
источник
2021 June 15

МК

Михаил Королев... in Data Engineers
как вариант, я бы рассмотрел "отказаться от oozie, использовать Airflow (например)". Я это серьезно (не как агитация за Airflow, скорее как отношение к oozie), интересно мнение "коллег по цеху": рекомендуете использовать oozie (=инвестировать время в его изучение и "продирание" через его грабли)? если да, то - зачем, чем он хорош?
источник

AV

Alexandr Vladimirovi... in Data Engineers
Ребят, подскажите пожалуйста BI инструменты с открытым исходным кодом, что-то наподобие Apache Superset
Хотелось бы найти альтернативу Tableau, чтобы не сильно по функционалу просесть
источник

IR

Ivan Reshetnikov in Data Engineers
В сторону metabase можете глянуть.
источник

АБ

Адиль Бадиль... in Data Engineers
Всем привет. Хотел узнать в каких случаях стоит начать интегрировать Apache Kafka в работу? Есть ли какие-то определенные моменты при которых стоит использовать данный продукт, а не какой-нибудь Talend?
источник

А

Александр in Data Engineers
хороший вопрос
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
kafka - это, грубо, брокер, а talend - это etl инструмент...
источник

АБ

Адиль Бадиль... in Data Engineers
это понятно, но с помощью этих двух вещей можно выполнять похожие вещи, просто вопрос заключается когда лучше что использовать
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
вообще разные
источник

S

Stanislav in Data Engineers
конфлюэнт хорошенько так по мозгам неофитов ездит со своими обертками
источник

АБ

Адиль Бадиль... in Data Engineers
проблема не только в этом, а в том,что информации в интернете как таковой нету
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
да вроде все есть, по кафке уж точно
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
да и по таленду не мало было
источник

A

Aleksey in Data Engineers
Коллеги, подскажите пож-та кто-то что-то слышал/работал с продуктами от https://www.palantir.com ? какие-то комментарии/мнение можете сказать?
источник

OA

Oleksandr Averchenko in Data Engineers
Был 1 проект. Датасаенс для самых маленьких.
источник

OA

Oleksandr Averchenko in Data Engineers
Без консультантов от палантир вы ничего там не можете
источник

OA

Oleksandr Averchenko in Data Engineers
Выходит дорого и долго.
источник

A

Aleksey in Data Engineers
А что у них там под капотом? Что он вообще делает? На сайте лишь маркетинг
источник