Сорян, затупил из-за отсутствия знаний о существующих элементах интерфейса. Ну элементы в recyclerview это понятно. Получается я просто делаю себе несколько моделей виджетов и добавляю их в recyclerview в соответствии с тем, что хочет добавить пользователь
У вас интересная идея.
Я предлагаю вам сделать framelayout, на него добавлять другие framelayout и к ним добавлять детей (нужные вам view), к нему же цепляете setOnTouchListener, для движения.
Программы которые делают похожие - это App launcer, там можно посмотреть реализации, как сохраняют расположение элементов, как добавляют новые элементы.