бтв, в тему "зачем нужнга скала в 2к21" нашел занятным следующий отрывок, про то какие плюсы видят в использовании Scala в data bricks - https://youtu.be/UiN6yZPAYww?t=2606
Обобщая, скала хороший язык, т.к. он компактный, достаточно быстрый и они инвестировали существенные усилия в инфраструктуру, чтобы всё можно было писать на скале.