вообще с точки зрения бизнеса - гениальна идея хакатона (собрать красноглазиков), выбрать тот результат который им понравится. Дать совсем немного денег за это и пользоваться продуктом 😊

ну там же всё на питоне, если это сразу  не интегрируется в текущую инфраструктуру, значит проще написать заного

там одно из требований - что все должно разворачиваться на их инфраструктуре 😊

А кто-нибудь вообще может объяснить цель участников таких хакатонов? Я еще понимаю когда идешь на хакатон, чтобы проверить идею своего стартапа, а вот в данном случае какой смысл? Я просто не сторонник всяких хакатонов, вот мне и интересно в чем мотивация может быть со стороны участников, чтобы тратить на это все выходные nonstop.

посмотрел биг-дата, больше похоже на тестовое задание для студентов на мой взгляд, хотя может просто отсев для уменьшения кол-ва участников на очном этапе.

Так там в-основном студенты и есть. Стартаперы еще... которые без инвестиций )

изучить что-нибудь новое, на самом деле

Ищем пару скалистов: удалёнка, Slack, Jira, всё начальство - редкие адекваты, нужен какой-то английский. Пользуем вот это:

Scala
Akka
Apache Spark
Docker
Linux
EC2, EMR, Redshift
https://changedynamix.io/

Подробности: https://spb.hh.ru/vacancy/20481312
На hh откликаться не требуется, пишите мне - всё расскажу!

https://www.youtube.com/watch?v=UQiuyov4J-4&list=PL-x35fyliRwhN_2HPNh_jJfYAZy-cUpTR#t=114.825804 интересный доклад о новом спарк стриминге

В поиске Data Engineer с переездом на Кипр, Лимасол, крупная финтех-компания.

Задачи:
- интеграция источников данных с хранилищем Hadoop
- разработка ELT-процедур
- проектирование архитектуры хранения и обработки данных
- подготовка, очистка, обеспечение качества данных
- визуализация данных
- разработка production-решений на основе готовых прототипов
- исследование новых технологий и инструментов работы с данными

Обязательные требования:
- опыт разработки приложений в экосистеме Hadoop от 2 лет
- глубокое понимание моделей распределённых вычислений
- опыт разработки на Java от 3 лет
- опыт работы с Linux
- опыт работы с реляционными СУБД (мы работаем с PostgreSQL)
- понимание алгоритмов и структур данных
- опыт разработки высоконагруженных систем

Будет плюсом:
- опыт программирования на Python, Erlang, PHP
- опыт решения задач с использованием машинного обучения
- интерес к функциональному программированию
- опыт работы с NoSQL базами данных (ClickHouse)

Условия:
- Работа в офисе на берегу моря в городе Лимасол, русскоязычная команда
- Официальное трудоустройство по законодательству Кипра и ЕС, оформление рабочей визы сотруднику (необходим диплом о высшем образовании) и виз для членов семьи
- Полная компенсация расходов на переезд
- Медицинская страховка для сотрудника и членов его семьи
- Бесплатное посещение спортзала, свежие фрукты в офисе.

maxim.goodjob@gmail.com, skype: borschevm
#вакансия #ищу #dataengineer #hadoop #linux #clickhouse #nosql

решал ли кто вопрос распределенного (хадууп)  кластера по нескольким датацентрам? Есть ли наработки у кого?  Есть ли варианты для дистрибуции cloudera ?

А какой канал между датацентрами?:)

Да, интересно. Все известные мне пользователи забивали)

Просто растягивать hdfs между дц идея так себе, если у вас конечно нет темной оптики между ними

да и спарк спасибо не скажет

Ребят, пока движуха. Как быстрее скопировать данные из одного хадупа в другой с третьей машины (друг друга не видят)

Я не большой специалист)

ну есть api для питона например

модуль hdfs называется