Size: a a a

2021 February 17

e

er@essbase.ru in Data Engineers
В общем есть лазейка . Archive.cloudera.com/cm7/7.2.4
источник

e

er@essbase.ru in Data Engineers
На 60 дней.
источник

e

er@essbase.ru in Data Engineers
Ещё мучаю mapR
источник

А

Алексей in Data Engineers
источник

А

Алексей in Data Engineers
Получается датабрикс теперь есть во всех облаках?
источник
2021 February 18

KS

K S in Data Engineers
Не очень хорошее соседство для Databricks.
Скорее всего много клиентов перейдут сначала на Dataproc а затем на Dataflow.
источник

KS

K S in Data Engineers
Либо гуглы просто отдадут им Dataproc, чтобы улучшить качество суппорта.
источник

YL

Yuri Lyulchenko in Data Engineers
Anton Zadorozhniy
А какую бизнес логику вы хотите делать, как часто она меняется, кто ее определяет?
Вообще, анализ действий пользователей в мобильном приложении и стимулирование его на совершение определенных действий посредством коммуникаций. Правила м.б. такими: сделал A, сделал B (цепочка A-B), но после этого в течении n времени не совершил действие C (целевое действие), нужно отправить коммуникацию (мотивация). Логику определяют аналитики: какие параметры нужно учитывать, последовательность событий и т.п.

События (A, B, C ...) чистыми не приходят, их ещё нужно собрать из трёх разных таблиц. И по пользователю важен порядок их поступления во времени для этой задачи.
источник

YL

Yuri Lyulchenko in Data Engineers
Uncle Ruckus
Задачка сугубо и исключительно на флинк. Вообще если стоит вопрос "что выбрать", то всегда ответ такой: если скорее потоковая обработка чем пакетная - флинк. Если скорей пакетная чем потоковая - спарк
Спасибо за ответ. Однозначно потоковая обработка. По поводу Kafka, предполагается, что так будут поступать входные данные.
источник

TT

Taika Tytto in Data Engineers
Добрый день

Дублирую вопрос: есть кто с опытом запуска флинк 1.11-1.12 ярном?
источник

GZ

Gleb Zhukov in Data Engineers
Taika Tytto
Добрый день

Дублирую вопрос: есть кто с опытом запуска флинк 1.11-1.12 ярном?
Да, 1.12.0  с hadoop 2.10.1
источник

TT

Taika Tytto in Data Engineers
Gleb Zhukov
Да, 1.12.0  с hadoop 2.10.1
вы запускаете session или per-job?
источник

GZ

Gleb Zhukov in Data Engineers
Per-job
источник

TT

Taika Tytto in Data Engineers
Интересно где адрес ярна прописывается, в каком-то из конфигов?

У меня 1.10 с помощью yarn-cluster все видит, а новый способ per-job игнорит конфиги, и не хочет коннектится, вот гадаю, не знаю куда смотреть.
источник

GZ

Gleb Zhukov in Data Engineers
не, сорян, я напутал, через yarn-session
источник

GZ

Gleb Zhukov in Data Engineers
брать должен для всего из env.hadoop.conf.dir
источник
2021 February 19

CM

Corvin Meyer auf der... in Data Engineers
unless i am logging in incorrectly
источник

ПФ

Паша Финкельштейн... in Data Engineers
Выбираете, что бы такого посмотреть вечером? Мы предлагаем свой вариант — доклады SmartData 2020. Плейлист открыт, его можно сохранять, шарить, смотреть и пересматривать.

https://www.youtube.com/playlist?list=PLeN_80lmoMY1ugdDLg2mWht5eQDq6CoNQ
источник

MM

Mikhail Mariufich in Data Engineers
like
источник

R

Roman in Data Engineers
Коллеги, подскажите, пожалуйста, хорошие книги/ресурсы по scala cats или scalaz, кроме их доков. Может быть кто - то может кинуть ссылку на проект, который написан на них, чтобы на практике посмотреть. Заранее благодарю.
источник