Size: a a a

2021 October 31

И

Илья in Data Engineers
Всем привет! По логину чата hadoopusers решил, что релевантный вопрос, а по поиску ничего конкретного и подходящего не нашел.
Можете посоветовать курс именно по Hadoop? Не специализация в духе Data Engineering, а по конкретному инструменту. Платный или нет, не так важно. Лучше не за 1000$))
источник

D

Dmitriy in Data Engineers
источник

И

Илья in Data Engineers
Чекну, спасибо
источник
2021 November 01

РД

Роман Друзык... in Data Engineers
Всем привет!
Попросить совета, наставления, указания направления) Пока не знаю с какой стороны подойти к снаряду
кафка стриминг
В общем, есть топик из которого я читаю и собираю из вычитанного мапу определенную в оперативной памяти
Как можно эффективно масштабировать, чтобы я мог читать n- консьюмерами, но чтобы результат складывать в единную мапу?
источник

DZ

Dmitry Zuev in Data Engineers
использовать kv storage
источник

РД

Роман Друзык... in Data Engineers
Можно немного развить мысль?:) что-то типа рэдиса?
источник

DZ

Dmitry Zuev in Data Engineers
типа
источник

АР

Андрей Романов... in Data Engineers
можно как раз распределённые кэши и рассмотреть для такого случая
источник

РД

Роман Друзык... in Data Engineers
Не работал с рэдис, знаю что такой есть)
Как это выглядит верхнеуровнево? каждый консьюмер складывает свою мапу в рэдис и надо как то будет их тоже все брать и объединять в одну мапу?
источник

АР

Андрей Романов... in Data Engineers
да, примерно так
источник

РД

Роман Друзык... in Data Engineers
Нагуглил ConcurentMap - с этим что то можно сделать?)
источник

DZ

Dmitry Zuev in Data Engineers
Distributed concurrent map нужен
источник

DZ

Dmitry Zuev in Data Engineers
Примерно не так
источник

DZ

Dmitry Zuev in Data Engineers
Одна мапа на всех
источник

АР

Андрей Романов... in Data Engineers
эт да

просто обновление ключа по каждой записи
источник

АР

Андрей Романов... in Data Engineers
не совсем корректно выразился, извините
источник

РД

Роман Друзык... in Data Engineers
Микропример кода как это выглядит можно попросить? по-честному не нашел таких примеров в гугле..
источник

AS

Andrey Smirnov in Data Engineers
вот единая мапа
https://redis.io/commands/hset
источник

РД

Роман Друзык... in Data Engineers
Спасибо, почитаю!
источник

РД

Роман Друзык... in Data Engineers
А вообще есть какие то best practices как можно получить результат работы каждого консьюмера и с ними потом что-то поделать?
источник