скала питон

Object[]?

ну это мое мнение

Хорошая шутка :) особенно в контексте что на скале только спарк, но и у него все критикал к перфомансу части на java и тангстен генерит java код в рантайме

Всё остальное это java java java......

Какие части критические у него на джаве?

Откройте нетворк и шафл части

ну это скорее всего мнение не дата инженера, а дата саентиста или аналитика

Гугли "Hadoop mapper tuple Java", где-то там будет конкретный ответ

часто приходится читать оутпут кодгена?

С этим согласен, если ты только на высоком прикладной уровне, то да, питон и скала, если нужно спускаться ниже и работать с кодом самих продуктов то другое мнение

Кодегена не часто, но сорцы спарка регулярно

и где же там столько джавы?

Спасибо. Сейчас гляну

Класлоадер (так как скала в пару вещей не умеет), сеть нетти и вся его обвязка, в некоторых других местах

Но в самом спарке скала конечно основной язык

Но это как таковое единственный продукт в бигдата со скалой, hive/hbase/hadoop/druid/pinot и тд все на java

Kafka почти весь новый код на java, скала осталась на уровне оркестрации, но количество его снижается

Flink как и в спарке скалы много в коре части (внутри акку гоняют), но стоят таски сделать все апи scala free

сорцы спарка читать то ещё удовольствие, эт точно.

читать сорцы всего перечисленного так себе

пойду выпиливать скалу из велью сервисов, парни в чате сказали так делать не надо

Так то же зависит от позиции вашей :)

Кто-то аналитик и ему скала проще за счёт высокой абстракции

Другие делают эти самые сервисы которые аналитик под капотом использует

я разработчик и мне проще с ней чем с другой тулой