В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2608 membersпожаловаться на группу
2021 July 04

SK

Serhii Kholodniuk in Data Engineers
Интересует больше не видео стриминг, а ивенты транзакции, например в екомерсе с изменением статуса. Вопрос наверное больше как правильно збрасывать ивенты что опоздали в отдельный буфер, что-б потом его запроцесить
источник
17:09пожаловаться#1

SK

Serhii Kholodniuk in Data Engineers
В видео стрименге если пару ивентов потеряешь не страшно. Тут больше интересует что-б обработать все ивенты
источник
17:11пожаловаться#2

SK

Serhii Kholodniuk in Data Engineers
Если есть успешный вариант реализация на спарке или флике вообще 🔥
источник
17:13пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
в флинке из коробки работает sideOutputLateData, у вас какой-то очень общий вопрос, вы конкретно что хотите сделать?
источник
19:30пожаловаться#4

SK

Serhii Kholodniuk in Data Engineers
Спасибо, гляну
источник
19:38пожаловаться#5

SS

Sergey Sheremeta in Data Engineers
https://databricks.com/blog/2020/12/15/handling-late-arriving-dimensions-using-a-reconciliation-pattern.html
Databricks
How to Handle Late Arriving Dimensions With a Streaming Reconciliation Pattern
Learn more about how Databricks helps McGraw Hill handle late arriving dimensions using an automated and configurable streaming reconciliation pattern in Apache Spark.
источник
20:33пожаловаться#6

SK

Serhii Kholodniuk in Data Engineers
В спарке думал невозможно обработать опоздавшие транзакции так как вотермарка обрезает их. Или я заблуждался?
источник
20:49пожаловаться#7

e

er@essbase.ru in Data Engineers
где то читал , что вместе со стримингом был || батчевый поток , что бы закрыть дельту по изменениям в прошлом
источник
21:24пожаловаться#8

e

er@essbase.ru in Data Engineers
типа стриминговые транзакции по определению "грязные"
источник
21:25пожаловаться#9

NN

No Name in Data Engineers
Ну это ж просто лямбда-архитектура, не?
источник
21:26пожаловаться#10
2021 July 05

S

Sebastian in Data Engineers
https://stepik.org/course/150/promo
Этот курс бесплатный?
Stepik: online education
Hadoop. Система для обработки больших объемов данных
Курс посвящен методам обработки больших объемов данных (BigData) с помощью системы Hadoop. После прохождения курса вы получите знания основных способов хранения и методов обработки больших объемов данных, поймете принципы работы распределенных систем в контексте фреймворка Hadoop и освоите практические навыки разработки приложений, используя программную модель MapReduce.
источник
07:32пожаловаться#11

TC

Tasty Cake in Data Engineers
Ну по хадуп на степике курс бесплатный. Чтобы закрепить знания, рекомендую походить на собесы
источник
07:34пожаловаться#12

S

Sebastian in Data Engineers
Как установить хадуп?
источник
07:34пожаловаться#13

S

Sebastian in Data Engineers
Я бы пошёл на курсы ньюпролаб, но чето долго ждать начала...
источник
07:40пожаловаться#14

S

Sebastian in Data Engineers
Есть альтернативы?
источник
07:41пожаловаться#15

АБ

Артемий Богданов... in Data Engineers
Самый простой способ - hdp в докере
источник
07:58пожаловаться#16

K

KrivdaTheTriewe in Data Engineers
Разверни на виртуалке руками
источник
08:19пожаловаться#17

TC

Tasty Cake in Data Engineers
Есть докер-контейнеры от команды bde2020 (Кажется так называются). Можешь поднять докер-компоуз с этим богатством. У меня так работает в домашней среде. Это попроще, чем ты будешь тащить образ с HDP
источник
08:55пожаловаться#18

TC

Tasty Cake in Data Engineers
+
источник
08:56пожаловаться#19

P

Pavel in Data Engineers
Надо запустить файл setup.exe
источник
09:30пожаловаться#20