Сначала проставь везде спаны или не ставь спаны, подготовь список, а потом его уже отдавай в дифф утил. Рекомендую покопать механизм проверки дифф утилом — как он проверяет изменился ли элемент. Так ты можешь свои любые смены модели учитывать и дифф утил будет обновлять адаптер предсказуемо