Ну просто если ты и так херачишь больше CU на ГПУ, то ты вместе с ними херачишь и других юнитов побольше. Они же в блоках сгруппированы друг к другу. А кеши по факту только к текстурным юнитам применяются. Если у тебя шейдер из под CU запросит регион текстуры а там его нет то ты сасаешь колоссально, ей надо грузиться из VRAM