Хотя мне пока для работы 32 гигов вроде хватает. Самое больше, что делаю на компе: hdp sandbox запускаю, ему надо много памяти

Ептыть

Привыкнете так) жить в каучуковом с т.зр. ресурсоемкости окружении

в этом и поинт, приучать инженеров мыслить не в терминах "сколько у нас серверов, пусть работают", а "как нам дешевле сделать Х и не потратить лишнего"

облака, облака, и ещё раз облака

Да ну)) зачем)))

а уж какие именно, это в зависимости от условий

на "поиграться" бесплатного лимита везде хватит

инженера который освоил эту культуру сразу видно, у него первые вопросы: а какая у вас политика тэгов, как настроен клауд уборщик, есть ли зарезервированный капасити, можно ли использовать споты

Всем здравствуйте! Сейчас активно изучаю SQL, знаю Python. Что учить дальше на пути к становлении Data Engineer?

spark без сомнения!

через призму python - т.е. pyspark

Там сегодня выше пару родмапов постили

откуда эт столько народу привалило

https://t.me/rockyourdata здесь ссылку оставили

а.
ну, тут 90% времени скучно, и подробные ответы на плохо сформулированные вопросы. остальные 10% — трёп на левые темы.

Всем привет. Может кто-то подскажет. Есть хадуп-кластер в докер-сворме.  1 неймнода 2 датаноды. Периодически одна из датанод отваливается. Лечу так: просто перезагружаю сервисы через команду docker service update -f name_of_service. Как сделать, чтобы среда работала стабильно? Среда у меня дев. Сейчас проект в MVP. Но мы через пару месяцев, в случае удачи, уходим в прод

Мы загружали curlом, потом просто в хайве смотрели данные

Добрый день! Нужен совет от сообщества. Планирую переключиться с java-разработчика на DE.  В июле-августе думаю собеситься. Сейчас заканчиваю курс OTUS по экосистеме Hadoop. Вопрос: есть ли смысл упираться в финальный петпроект или лучше сконцентрироваться на изучении основных фреймворков типа Spark, Spark Streaming, Flink? Будут ли при собеседованиях обращать внимание на такие проекты? Если да, то какую связку технологий лучше использовать? Заранее всем спасибо!

Добрый день. Думаю лучше сконцентрироваться на технологиях. Разобраться в тонкостях. Если вы хотите сделать проект, то сделайте с охватом перечисленных технологиях. По спарку конкретно сделайте работу с дельта лейком. Ну и можете стримы с флинком или с кафкой .А показывать или нет финальный проект - это на ваше усмотрение. Многие работодатели сами дают ТЗ