AA
Пивота точно можно избежать переходя к вектору ДО пивота. Главное правильно стратегию векторизации применить. Пасте бин протух уже 🙁
Да, к этому и пришёл (вместо пивота и векторассемблера) делаю группировку-сортировку-векторизацию (я об этом пивоте по факту говорил :) ). Решение на стаке расписано более детально.(https://stackoverflow.com/questions/33866759/spark-scala-dataframe-create-feature-vectors)
