Size: a a a

2020 December 28

AV

Andrey Volkov in Data Engineers
с нуля имелось в виду, что с BigData / Hadoop - полный нолик :). Хотелось бы структурированной программы с чего начинать и куда дальше идти, а не отдельные, вырванные из контекста, видео и т.д. :)
источник

DK

Denis Karasev in Data Engineers
Имхо,
Начинать надо с рабочего программирования на джаве, нужно более чем понимание синтаксиса
-> функциональная джава
-> почитать, понять-простить-принять что hadoop это фреймворк включающий в себя немало инструментов(все на jvm), с одним "но" - весь стэк базируется на хдфс (распред файловой системе), а дальше все от потребностей, нужны распред бд, или еще что...
и можно еще поглядеть такую штуку https://blog.dataiku.com/2013/05/01/a-complete-guide-to-writing-hive-udf
ну и книжку functional programming simplified
источник

e

er@essbase.ru in Data Engineers
Andrey Volkov
с нуля имелось в виду, что с BigData / Hadoop - полный нолик :). Хотелось бы структурированной программы с чего начинать и куда дальше идти, а не отдельные, вырванные из контекста, видео и т.д. :)
пройдитесь по всем курсам - надергайте оглавление
составьте свой план роста
по каждому пункту ищите бесплатные курсы + тренажерки

посмотрите какие сертификации существуют на рынке и ценятся
- по ним есть список примерных вопросов и тем  .- готовьтесь . поставьте себе цель сдать эти сертификаты

- начните  с базовых вещей  - Oracle SQL, Oracle Java - или MS
источник

АЖ

Андрей Жуков... in Data Engineers
Andrey Volkov
с нуля имелось в виду, что с BigData / Hadoop - полный нолик :). Хотелось бы структурированной программы с чего начинать и куда дальше идти, а не отдельные, вырванные из контекста, видео и т.д. :)
источник

AV

Andrey Volkov in Data Engineers
@Deran9ed @essbase @fall_out_bug  большое спасибо за наводки! :)
источник

V

Vladislav Gotsulyak in Data Engineers
годный контент
источник

АЖ

Андрей Жуков... in Data Engineers
Vladislav Gotsulyak
годный контент
отправил Александре подарок за этот роадмап, чего и всем советую 🙂
источник

IK

Ivan Kizimenko in Data Engineers
Какую бы БД вы рекомендовали для хранения профилей поcетителй сайтов (куки). Кликстрим хранится в ClickHouse. Хадупа в архитектуре нет поэтому можно с ним можно без него. Основная задача быстрая доступность и изменение в реальном времени. Триггерная коммуникация все дела
источник

IK

Ivan Kizimenko in Data Engineers
или может статьи кто покидает на эту тему
источник

AS

Andrey Smirnov in Data Engineers
Ivan Kizimenko
Какую бы БД вы рекомендовали для хранения профилей поcетителй сайтов (куки). Кликстрим хранится в ClickHouse. Хадупа в архитектуре нет поэтому можно с ним можно без него. Основная задача быстрая доступность и изменение в реальном времени. Триггерная коммуникация все дела
обычно используют cassandra|hbase
много зависит от объема, и что с этми профилями потом делать, может и постгре/mysql хватит (uber вон сколько переездов делал)
источник

IK

Ivan Kizimenko in Data Engineers
Andrey Smirnov
обычно используют cassandra|hbase
много зависит от объема, и что с этми профилями потом делать, может и постгре/mysql хватит (uber вон сколько переездов делал)
да тоже видел кейс с hbase, пока на него и ориентуруюсь
источник

AS

Andrey Smirnov in Data Engineers
Ivan Kizimenko
да тоже видел кейс с hbase, пока на него и ориентуруюсь
тогда вам понадобится хадуп
источник

NB

Nikita Bakanchev in Data Engineers
Андрей Жуков
отправил Александре подарок за этот роадмап, чего и всем советую 🙂
А ее курсы не смотрел ?
источник

TT

Tsh Tsh in Data Engineers
Ivan Kizimenko
Какую бы БД вы рекомендовали для хранения профилей поcетителй сайтов (куки). Кликстрим хранится в ClickHouse. Хадупа в архитектуре нет поэтому можно с ним можно без него. Основная задача быстрая доступность и изменение в реальном времени. Триггерная коммуникация все дела
Redis, vertica
источник

e

er@essbase.ru in Data Engineers
Ivan Kizimenko
да тоже видел кейс с hbase, пока на него и ориентуруюсь
источник

AZ

Anton Zadorozhniy in Data Engineers
Ivan Kizimenko
Какую бы БД вы рекомендовали для хранения профилей поcетителй сайтов (куки). Кликстрим хранится в ClickHouse. Хадупа в архитектуре нет поэтому можно с ним можно без него. Основная задача быстрая доступность и изменение в реальном времени. Триггерная коммуникация все дела
Если больше DMP сценарий то Aerospike хорош
источник

АЖ

Андрей Жуков... in Data Engineers
Nikita Bakanchev
А ее курсы не смотрел ?
никак не выделю время, чтоб не зря 6 баксов отдать 🙂
источник

TT

Tsh Tsh in Data Engineers
Anton Zadorozhniy
Если больше DMP сценарий то Aerospike хорош
Аэроспайк очень хорош, но дороговат
источник

АЖ

Андрей Жуков... in Data Engineers
Tsh Tsh
Аэроспайк очень хорош, но дороговат
даже комьюнити ничо такой
источник

IK

Ivan Kizimenko in Data Engineers
Спасибо, пошел гуглить
источник