я думаю код у нас аналитики не писали года 3. сейчас у них это просто R скриптик, которому скармливают стандартизованный feature store и все. весь датасаенс на этом заканчивается
относительно недавно сда(ва)л тесты в Cloudera (575 и 175), пока не забыл - могу поделиться воспоминаниями (ух командная строка, я тебя люблю, но не настолько...), мои личные прогнозы подтвердились - spark это инструмент