это бот если что

так куда податись молодому адепту? які на ринку є екосистеми які б закрили питання створення стартапу , для прикладу IoT сфера де треба процесити дані з мільйонів девайсів з наступним аналізом.
для прикладу Akka + Alpakka + Flink/Spark закривають впринципі всі питання. Ну і щоб з цим всім можна було жити в всяких клаудах.
акка вроді же супер, правда швидкість розробки alpakka не внушає довіри (до сих пір чекаю MQTT_V5 Source для стрімів, gihub issue півтора роки в альпаці).

Не експерт, але що може lightbend стек чого тайплевел не вміє?

знав б я що таке тайплевел 🙂
https://typelevel.org/ ?

+

Сильно ли нужен Scala для работы в Apache Spark?

вопрос не понятный; что значит нужна? для компиляции спарка нужна; как юзеру код писать не всегда (но если что-то надо кроме базового функционала делать часто нужна; можно конечно заменять джавой)

Имеется ввиду в дерби языка окунатся нужно?

Есть даже настройка на kotlin, если java трогать не хочется

нет; может в дебри жвм иногда

предлагаю спросить сразу во всех наших чатах и в @hadoopusers (это шутка)

я думал для спарка вообще есть Java API, типа вообще можно скалу не юзать, нет?

да, знаю даже пару людей которые используют

ну там в совсем нутрянку лезешь когда, уже нет жава апи

а часто это нужно? достаточно ли одного типа одного эксперта иметь на "отдел" чтобы изредка с какой-то экзотикой справляться?

это да

ну конечно зависит от кода в команде

но можно вообще одного человека который жавист и кучу петонистов к нему

поэтому котлин байндинги имеют не понятную целевую аудиторию

ну т.е. поздно, весь мир там в петон свалился