По идее, не должно быть проблем, эта фигня работает как ресайклер - держит в памяти только то, что на экране и +- один фрагмент.
И не уверен, что вручную реализация будет грузить меньше.
Если конкретно отвечать на Ваш вопрос - нужно делать кастомную анимацию. Конкретнее даже не подскажу, сложно будет. :)