я поневоле изучил (Cloudera грозилась на тестах дать аж треть задачек по нему), но доброй воле никак не смог: ну невозможно такое придумать и потом использовать (особенно когда есть альтернативы)...

Если экосистема Hadoop - это родной планировщик, все из коробки, хранение всего в HDFS, для запуска YARN, чего не любить

Я много хороших систем на нем построил, удобно что XML со схемой - можно координаторы и воркфлоу писать на любом языке
Главный недостаток - прибит гвоздями к хадупу

+1

ребят, а какого процессинг рейта вы добивались спарком стракчар стримиинг на экзекьютор, если идет обычный avro -> parquet

у меня странная ситуация, что 40 ядер не могут 180к событий в секунду обработать

паркет же колумнар формат и формирование его бывает очень весёлой и затратной операцией
поэтому посмотрите в лоб треддамп на екзекуторах где оно висит
в паркете или в автра или в вашей какой логике

не любить: сложно и контринтуитивно, чтобы что-то простое сделать нужно документацию до конца дочитать (и вникнуть, не то чтобы я читать не люблю или не умею, это к тем, кто дочитал), возможности простого расширения на мой взгляд крайне ограничены (сделать что-то большее, нежели то, что авторы вложили в коробку), особенно, если к тому времени уже пользуешься Airflow. Возникает вопрос: зачем возвращаться к Oozie??? Понятно, что если нужно два MR джоба запустить друг за другом - что-то изначально было нужно, но... тем не менее

а что брать если ни то ни то не любишь

Конечно азкабан )

Ну это совсем прибито к хадупу

Мне ж не везде он нужен

любить - это одно (вопрос был - за что), брать - другое: все же тот же Airflow по части простоты "въезжания" (для питонистов) куда как проще. И - Антон подметил - к хадупу никак не прибит. Плюс - спасибо Екатерине - как минимум очень популярный инструмент. Но каждый сам решает, естественно. Не могу сказать, что Airflow - верх совершенства, еще один плюс - развивается (в отличие от того же Oozie или Livy)

Ну в теории там через комманд можно запустить что угодно, не обязательно хадуп )

docker run -d --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:1.1
docker run -d --name kafka -p 9092:9092 --link zookeeper:zookeeper debezium/kafka:1.1
————————————————————————————
from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers=['localhost:9092'])

producer.send('Adil', 'Hello, World!')

————————————————————————————
В кафку не приходят сообщения

кто-то сталкивался с подобными проблемами ?

Попробуй добавить producer.flush() producer.close()

В конец

ну и read_uncommitted можно попробовать