у вас кэш компиляции - это кэш компиляции приложение+зависимости, когда стандартная практика сборке образов докера это сохранение кэша компиляции исключительно зависимостей в одном из слоёв образа. Этот слой инвалидируется реже, чем кэш компиляции приложение+зависимости которые инвалидируется каждый раз при изменении кода самого приложения