Не только в DE, так что если есть интерес в изучении - вперёд, пригодится, заодно парадигмы функционального языка освоите.
Насчёт преимуществ нормально ответят компетентные в этом ребята, я могу только применительно к спарку набросить, что, по сравнению с питоном, у Вас будут все преимущества компилируемого языка + dataset API с нормальной типизацией.
По сравнению с джавой - код, на мой взгляд, будет красивее, и писать намного быстрее.
Больше ничего не скажу, я тупой в этой теме.