первое что я хочу заметить - задание ллменеджера и адаптера в оnResponse. Зачем? задай их в onActivityCreated/onCreate а в onResponse просто добавляй данные в адаптер
Запрос только один раз, видимость вьюшек меняется только при удачном запросе. Добавлять данные отдельно от создания адаптера - идея хорошая, ступил. Rx напарник не дает использовать(