Просто в этом же и проблема. Тебе не составит труда написать пайплайн на скале или котлин, потом загнать это все в питон и сделать обработку на питоне. Но для средне-статистического человека это лишняя боль. И вот тут котлин выигрывает. Потому что можно делать и то и другое на одном языке. Это я тебе как адвокаду народную повестку доношу.
И, важный момент, я могу не делать конвертацию данных. Делаю экстеншен и аггрегирую все данные из спарка на лету, хоть в динамике. Именно это является фишкой экосистемы. И как мне кажется именно на это надо упирать
Мне сильно не нравится grammar of graphics синтакс. Про вегу - разговор хороший. С Романом Беловым давно говорили о том, что нужно единую котлин обертку делать. И даже начали, но сил нет. Подключайся, если есть желание