Для этого нужно всех юнитов обрабатывать, и видимых, и невидимых. А можешь только видимых рендерить, и попутно при рендере у используемой текстуры timestamp обновлять. А потом раз в 10 секунд по текстурам проходить и самые давно использованные выгружать.